相信SEO工作者對網絡爬蟲都不陌生,都知道這是一種虛擬的蟲子,是搜索引擎獲取信息的程序。因此深入地了解網絡爬蟲,對SEO工作的幫助是很有幫助的。網站推廣工作者告訴大家,網絡爬蟲有多種不同的分類,各有特點。接下來他就為大家簡單介紹一下。
1、通用網絡爬蟲
通用網絡爬蟲,又稱為“全網爬蟲”,從一些種子網站開始爬行,逐步擴展到整個互聯網。通用網絡爬蟲策略,就是深度優先策略和廣度優先策略。
2、聚焦網絡爬蟲
聚焦網絡爬蟲,又稱為“主題網絡爬蟲”,預先選擇一個(或幾個)相關主題,僅爬行并抓取這一類的相關頁面。聚焦網絡爬蟲策略,聚焦網絡爬蟲增加了鏈接和內容評價模塊,所以其爬行策略的關鍵是評價頁面的鏈接和內容后再進行爬行。
3、增量式網絡爬蟲
增量式網絡爬蟲,是指對已經收錄的頁面進行更新、爬行新頁面和發生變化的頁面。增量式網絡爬蟲策略,包括廣度優先策略和Page Rank優先策略等。
4、Deep Web爬蟲
搜索引擎蜘蛛可以爬行并抓取的頁面稱之為“表層網頁”,某些不能通過靜態鏈接獲得的頁面稱之為“深層網頁”,Deep Web爬蟲就是抓取深層網頁的爬蟲體系。
相信通過網站推廣工作者對網絡爬蟲的分類的介紹,大家一定對網絡爬蟲更加了解了。
標簽:九江
鹽城
林芝
東營
烏魯木齊