搜索引擎工作過(guò)程非常復(fù)雜，今天和大家分享一下我所了解的百度蜘蛛是怎么實(shí)現(xiàn)網(wǎng)頁(yè)收錄的。

　　搜索引擎工作大致可以分為四個(gè)過(guò)程。

　　1、蜘蛛爬行抓取。

　　2、信息過(guò)濾。

　　3、建立網(wǎng)頁(yè)關(guān)鍵詞索引。

　　4、用戶搜索輸出結(jié)果。

　　蜘蛛爬行抓取

　　當(dāng)百度蜘蛛來(lái)到一個(gè)頁(yè)面時(shí)，它會(huì)跟蹤頁(yè)面上的鏈接，從這個(gè)頁(yè)面爬行到下一個(gè)頁(yè)面，就好像一個(gè)遞歸過(guò)程，這樣常年累月，不止疲倦的工作。比如蜘蛛來(lái)到了我的博客首頁(yè)http://blog.sina.com.cn/netSEOer，它會(huì)先讀取根目錄下的robots.txt文件，如果沒(méi)有禁止搜索引擎抓取，那么蜘蛛就開始針對(duì)網(wǎng)頁(yè)上的鏈接，進(jìn)行逐一跟蹤爬行。比如我的置頂文章“SEO概述|什么是SEO SEO到底是干嘛的”，引擎就會(huì)多進(jìn)程式的來(lái)到這篇文章所在的網(wǎng)頁(yè)抓取信息，如此循壞，沒(méi)有終結(jié)。

　　信息過(guò)濾

　　為了避免重復(fù)爬行和抓取網(wǎng)址，搜索引擎會(huì)有一個(gè)記錄已爬行和未被爬行的地址庫(kù)，如果你有一個(gè)新網(wǎng)站時(shí)，你可以去百度官網(wǎng)提交網(wǎng)站的網(wǎng)址，引擎就會(huì)記錄它，并把它歸類到未爬行的網(wǎng)址，然后蜘蛛就會(huì)根據(jù)這個(gè)表格，從數(shù)據(jù)庫(kù)中提取URL，訪問(wèn)并抓取頁(yè)面。

　　蜘蛛并不會(huì)收錄所有的頁(yè)面，它要經(jīng)過(guò)嚴(yán)格檢測(cè)。當(dāng)蜘蛛在爬行和抓取一個(gè)網(wǎng)頁(yè)的內(nèi)容時(shí)，會(huì)進(jìn)行一定程度的復(fù)制內(nèi)容檢測(cè)，如果網(wǎng)頁(yè)所在的網(wǎng)站權(quán)重低，而且大部分文章都是抄襲來(lái)的話，蜘蛛就很可能不喜歡你的網(wǎng)站了，不在繼續(xù)爬行，也就不收錄你的網(wǎng)站。

　　建立網(wǎng)頁(yè)關(guān)鍵詞索引

　　當(dāng)蜘蛛抓取了一個(gè)頁(yè)面之后，首先會(huì)對(duì)頁(yè)面文字內(nèi)容進(jìn)行分析。通過(guò)分詞技術(shù)，將網(wǎng)頁(yè)的內(nèi)容簡(jiǎn)化到關(guān)鍵詞，并把關(guān)鍵詞和對(duì)應(yīng)的網(wǎng)址制成表格建立索引。

　　索引又有正向索引和反向索引，正向索引是把網(wǎng)頁(yè)內(nèi)容對(duì)應(yīng)的關(guān)鍵詞，反向是關(guān)鍵詞對(duì)應(yīng)的網(wǎng)頁(yè)信息。

　　輸出結(jié)果

　　當(dāng)用戶搜索了某個(gè)關(guān)鍵詞之后，就會(huì)通過(guò)前面建立的索引表進(jìn)行關(guān)鍵詞匹配，通過(guò)反向索引表找到關(guān)鍵詞對(duì)應(yīng)的頁(yè)面，通過(guò)引擎對(duì)網(wǎng)頁(yè)綜合評(píng)分計(jì)算以后，根據(jù)網(wǎng)頁(yè)的評(píng)分來(lái)決定網(wǎng)頁(yè)的先后順序排名。

　　相關(guān)推薦：

　　網(wǎng)站優(yōu)化 百度蜘蛛到底喜歡什么？

　　怎么查詢ip是否為百度蜘蛛ip? tracert指令的使用方法