爬蟲怎麼找有效的url

爬蟲可以根據請求的url的返回碼判斷是否有效。

當返回碼等於200時，代表url是有效的，就可以對返回的內容進行解析和爬取。

當然，如果是自己編碼的爬蟲程序，還可以對返回碼是3xx的進行進一步處理，並爬取到有效的資訊。