專業(yè)網(wǎng)絡(luò)推廣公司教你怎么排查網(wǎng)站參數(shù)頁面抓取失敗問題

今天網(wǎng)絡(luò)推廣公司小編要和大家聊的是百度在抓取網(wǎng)站站點(diǎn)頁面出現(xiàn)有限抓取的問題，這個問題表現(xiàn)形態(tài)為php頁面是能夠被百度正常索引的，但是帶有參數(shù)的頁面卻每次都抓取失敗，注意是抓取失敗。

抓取失敗也就是說首先搜索引擎是能夠正常爬取到這些內(nèi)容的，但是卻因?yàn)椴糠衷驅(qū)е滤饕?。這個問題主要出現(xiàn)在以論壇、商城為主的動態(tài)網(wǎng)站。

其實(shí)出現(xiàn)這個問題后主要的解決手段就是排查、測試，尋找出現(xiàn)錯誤的原因。下面是網(wǎng)絡(luò)推廣公司小編整理的檢查方向。

A：重啟網(wǎng)站服務(wù)器

首先建議可以嘗試重新啟動服務(wù)器運(yùn)行，測試是否是因?yàn)榉?wù)器受壓過載導(dǎo)致的抓取失敗。如果在服務(wù)器重啟過后抓取成功就說明問題出現(xiàn)在服務(wù)器本身，反則重新查找問題。

B：關(guān)閉CDN服務(wù)器

CDN服務(wù)器翻譯過來就是內(nèi)容分發(fā)網(wǎng)絡(luò)，使用的目的是用于解決用戶網(wǎng)絡(luò)訪問時的“排隊(duì)”問題。在標(biāo)準(zhǔn)網(wǎng)絡(luò)服務(wù)中，用戶訪問延時是比較常見的事情，這也是使用CDN服務(wù)器的目的。而在使用中可能因?yàn)椴僮鞑划?dāng)與搜索引擎的規(guī)則相對沖突，所以建議可以關(guān)閉嘗試看看能否解決問題。

C：robots協(xié)議檢查

最烏龍的事情還真有可能會發(fā)生哦，編寫robots協(xié)議的目的就是告訴搜索引擎有哪些內(nèi)容是不可抓取的，如果抓取失敗的鏈接是屬于robots協(xié)議范圍的那這屬于正常的情況，所以這個也是一個要重點(diǎn)檢查的方向。

D：查看網(wǎng)站根目錄

做網(wǎng)站也要做好安全防護(hù)，以方有黑客在根目錄安裝后門程序?qū)W(wǎng)站內(nèi)容、排名、展示等出現(xiàn)惡意行為。