robots.txt協(xié)議寫法教程，教你如何調教安徽網(wǎng)絡推廣蜘蛛程序

robots.txt協(xié)議能夠保護我們的網(wǎng)站敏感內容不會被搜索引擎直接收錄，站長們也可以通過robots.txt協(xié)議從而有效的控制蜘蛛程序的爬取路徑，為我們網(wǎng)站創(chuàng)造安徽網(wǎng)絡推廣的必要的條件。

robots.txt協(xié)議的主要使用還是我們網(wǎng)站剛剛建立，尚未完善，或者有其他敏感的內容不便被蜘蛛程序索引。

robots.txt文件是網(wǎng)站的一個純文本文件，它是給搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行是我們的網(wǎng)站首先就是抓取這個文件，根據(jù)里面的網(wǎng)站內容來決定對網(wǎng)站文件訪問的范圍。
　　

robots.txt文件應該放在網(wǎng)站根目錄下。
　　

在一個站點上只能有一個"/robots.txt"文件，而且文件名的每個字母要求全部是小寫。
　　

robots.txt文件用法舉例
　　

例1.禁止所有搜索引擎訪問網(wǎng)站的任何部分
　　

下載該robots.txt文件User-agent:*
　　

Disallow:/
　　

例2.允許所有的robot訪問
　　

(或者也可以建一個空文件"/robots.txt"file)
　　

User-agent:*
　　

Disallow:
　　

例3.禁止某個搜索引擎的訪問
　　

User-agent:BadBot
　　

Disallow:/
　　

例4.允許某個搜索引擎的訪問
　　

User-agent:baiduspider
　　

Disallow:
　　

User-agent:*
　　

Disallow:/
　　

比如該網(wǎng)站有三個目錄對搜索引擎的訪問做了限制，即搜索引擎不會訪問這三個目錄。

需要注意的是對每一個目錄必須分開聲明，而不要寫成"Disallow:/cgi-bin//tmp/"。
　　

User-agent:后的*具有特殊的含義，代表"anyrobot"，所以在該文件中不能有"Disallow:
　　

/tmp/*"or"Disallow:*.gif"這樣的記錄出現(xiàn)。
　　

User-agent:*
　　

Disallow:/cgi-bin/
　　

Disallow:/tmp/
　　

Disallow:/~joe/