當前位置:聚美館>智慧生活>心理>

分佈式爬蟲什麼意思

心理 閱讀(2.75W)
分佈式爬蟲什麼意思

分佈式爬蟲是指在多個計算機上部署爬蟲程序,共享隊列,去重,讓多個爬蟲不爬取其他爬蟲爬取過的內容,從而實現實現聯合採集,是一種提高爬取效率的方法。

相對應的就是單機爬蟲,單機爬蟲是指只在一臺服務器上部署爬蟲程序,單機爬蟲是使用本地電腦發出http請求,是一種反爬策略,可以突破ip限制。