網(wǎng)站Robots.txt文件，是網(wǎng)站與搜索引擎交流的通用協(xié)議，通過Robots協(xié)議的設(shè)置告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取：一方面可以做網(wǎng)站安全的防護(hù)，更重要的是用來做優(yōu)化，減少無效頁面的收錄，提升站點(diǎn)的排名效果。

　　但是在實(shí)際的操作中，絕大多數(shù)的網(wǎng)站，在其撰寫上都存在或多或少的欠缺，甚至由于技術(shù)性的錯(cuò)誤撰寫，還會導(dǎo)致網(wǎng)站降權(quán)、不收錄、被K等一系列問題的出現(xiàn)。對于這一點(diǎn)，在對客戶的SEO診斷過程中，會經(jīng)常遇到，可以算是很多站點(diǎn)的通病。今天寫出這篇文章，就是來做一個(gè)分享：關(guān)于robots.txt協(xié)議，你寫對了嗎?

　　一：設(shè)置成Allow全站點(diǎn)抓取

　　百度收錄的越多，網(wǎng)站的排名越高?這是絕大多數(shù)站長的認(rèn)為，事實(shí)上也是如此。但是也并非絕對成立：低質(zhì)量的頁面收錄，會降低網(wǎng)站的排名效果，這一點(diǎn)你考慮到了嗎?

　　如果你的網(wǎng)站結(jié)構(gòu)不是非常的清晰，以及不存在多余的“功能”頁面，不建議對網(wǎng)站開全站點(diǎn)的抓取，事實(shí)上，在A5的SEO診斷中，只遇到極少數(shù)的一部分網(wǎng)站，可以真正的做到全站點(diǎn)都允許抓取，而不做屏蔽。隨著功能的豐富，要做到允許全站點(diǎn)抓取，也不太可能。

　　二：什么樣的頁面不建議抓取

　　對于網(wǎng)站功能上有用的目錄，有用的頁面，在用戶體驗(yàn)上可以得到更好的提升。但是搜索引擎方面來講，就會造成：服務(wù)器負(fù)擔(dān)，比如：大量的翻頁評論，對優(yōu)化上則沒有任何的價(jià)值。

　　除此外還包含如：網(wǎng)站做了偽靜態(tài)處理后，那么就要將動態(tài)鏈接屏蔽掉，避免搜索引擎抓取。用戶登錄目錄、注冊目錄、無用的軟件下載目錄，如果是靜態(tài)類型的站點(diǎn)，還要屏蔽掉動態(tài)類型的鏈接Disallow: /*?* 為什么呢?我們舉個(gè)例子來看：

　　上面是某客戶網(wǎng)站發(fā)現(xiàn)的問題，被百度收錄的原因是：有人惡意提交此類型的鏈接，但是網(wǎng)站本身又沒有做好防護(hù)。

　　三：撰寫上的細(xì)節(jié)注意事項(xiàng)

　　方法上來講，絕大多數(shù)的站長都明白，這里就不做多說了，不明白的站長，可以上百度百科看一下。今天這里說一些不常見的，可能是不少站長的疑問。

　　1、舉例：Disallow; /a 與Disallow: /a/的區(qū)別，很多站長都見過這樣的問題，為什么有的協(xié)議后加斜杠，有的不加斜杠呢?筆者今天要說的是：如果不加斜杠，屏蔽的是以a字母開頭的所有目錄和頁面，而后者代表的是屏蔽當(dāng)前目錄的所有頁面和子目錄的抓取。

　　通常來講，我們往往選擇后者更多一些，因?yàn)槎x范圍越大，容易造成“誤殺”。

　　2、JS文件、CSS需要屏蔽嗎?不少網(wǎng)站都做了這個(gè)屏蔽，但是筆者要說的是：google站長工具明確的說明：封禁css與js調(diào)用，可能會影響頁面質(zhì)量的判斷，從而影響排名。而對此，我們做了一些了解，百度方面同樣會有一定影響。

　　3、已經(jīng)刪除的目錄屏蔽，很多站長往往刪除一些目錄后，怕出現(xiàn)404問題，而進(jìn)行了屏蔽，禁止搜索引擎再抓取這樣的鏈接。事實(shí)上，這樣做真的好嗎?即使你屏蔽掉了，如果之前的目錄存在問題，那么沒有被蜘蛛從庫中剔除，同樣會影響到網(wǎng)站。

　　建議最佳的方式是：將對應(yīng)的主要錯(cuò)誤頁面整理出來，做死鏈接提交，以及自定義404頁面的處理，徹底的解決問題，而不是逃避問題。