今天我們來講解一個小問題,很多朋友更新了robots.txt文件以后,然后去百度站長平臺監測 robots.txt是否正確,卻被提示:百度暫時無法鏈接服務器,錯誤301代碼,這個時候我們應該怎么解 決那?其實解決方法并不是很難,今天就教大家排查這個問題。
1,服務器是否可以正常訪問!
我們最先檢查的應該是我們的服務器,手動訪問,看是否可以打開,或者是否打開非常慢,所造成 百度抓取延遲,才導致的抓取失敗,大家可以用17測,來檢測網站的整體速度,如果發現網站異常慢的 話,就應該聯系你的服務商進行排查問題了,問題排查后,恢復正常,大家在進行檢測robots.txt,就 可以恢復正常了。
2,檢查域名是否為首選域,301導致的錯誤!
如果服務器沒有問題,大家就檢查下是不是首選域的問題,比如你在站長平臺綁定的域名是你的頂級域名,而訪問網站卻是你的www域名,百度站長平臺訪問的時候,可能就會提示抓取錯誤,如果是這個問題,建議重新綁定站長平臺域名來解決即可。
3,檢測robots.txt,是否在根目錄!
如果以上沒問題,請檢查你的robots.txt是否在網站根目,很多朋友都容易放錯,誤以為robots.txt放在那里都是可以的,其實這個文件是必須放到根目錄的,這個大家要注意。
4,檢查robots.txt是否為空
如果robots.txt文件位置沒有錯,我們就要檢查下robots.txt是否為空文件,可能再上傳或者直接修改時,造成了文件的錯誤而導致為空,這種情況,百度也會提示抓取失敗。
5,刷新CDN緩存/
如果以上都沒有錯誤,那么你就要檢查你的CDN了,很可能是因為CDN緩存而造成的,或者是你配置了https,而站長平臺卻綁定的http,無法訪問,這兩點自己排查,如果以上都做到,那么是不會提示這類錯誤的,當然也不排查百度站長平臺本身的問題,不過這種機率性很小。