蜘蛛精是什麼

蜘蛛精是透過網頁的連結地址來尋找網頁

從網站某一個頁面，通常是首頁開始，讀取網頁的內容，找到在網頁中的其它連結地址，然後透過這些連結地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完爲止

如果把整個互聯網當成一個網站，那麼，網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來