robots.txt協(xié)議寫(xiě)法教程，教你如何調(diào)教安徽網(wǎng)絡(luò)推廣蜘蛛程序

robots.txt協(xié)議能夠保護(hù)我們的網(wǎng)站敏感內(nèi)容不會(huì)被搜索引擎直接收錄，站長(zhǎng)們也可以通過(guò)robots.txt協(xié)議從而有效的控制蜘蛛程序的爬取路徑，為我們網(wǎng)站創(chuàng)造安徽網(wǎng)絡(luò)推廣的必要的條件。

robots.txt協(xié)議的主要使用還是我們網(wǎng)站剛剛建立，尚未完善，或者有其他敏感的內(nèi)容不便被蜘蛛程序索引。

robots.txt文件是網(wǎng)站的一個(gè)純文本文件，它是給搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行是我們的網(wǎng)站首先就是抓取這個(gè)文件，根據(jù)里面的網(wǎng)站內(nèi)容來(lái)決定對(duì)網(wǎng)站文件訪(fǎng)問(wèn)的范圍。
　　

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。
　　

在一個(gè)站點(diǎn)上只能有一個(gè)"/robots.txt"文件，而且文件名的每個(gè)字母要求全部是小寫(xiě)。
　　

robots.txt文件用法舉例
　　

例1.禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的任何部分
　　

下載該robots.txt文件User-agent:*
　　

Disallow:/
　　

例2.允許所有的robot訪(fǎng)問(wèn)
　　

(或者也可以建一個(gè)空文件"/robots.txt"file)
　　

User-agent:*
　　

Disallow:
　　

例3.禁止某個(gè)搜索引擎的訪(fǎng)問(wèn)
　　

User-agent:BadBot
　　

Disallow:/
　　

例4.允許某個(gè)搜索引擎的訪(fǎng)問(wèn)
　　

User-agent:baiduspider
　　

Disallow:
　　

User-agent:*
　　

Disallow:/
　　

比如該網(wǎng)站有三個(gè)目錄對(duì)搜索引擎的訪(fǎng)問(wèn)做了限制，即搜索引擎不會(huì)訪(fǎng)問(wèn)這三個(gè)目錄。

需要注意的是對(duì)每一個(gè)目錄必須分開(kāi)聲明，而不要寫(xiě)成"Disallow:/cgi-bin//tmp/"。
　　

User-agent:后的*具有特殊的含義，代表"anyrobot"，所以在該文件中不能有"Disallow:
　　

/tmp/*"or"Disallow:*.gif"這樣的記錄出現(xiàn)。
　　

User-agent:*
　　

Disallow:/cgi-bin/
　　

Disallow:/tmp/
　　

Disallow:/~joe/