為什么要討論這個問題,我的網站搜狗收錄不正常,只收錄了兩個網頁。這兩個網頁還不是正常網頁,而是沒有內容的網頁。我想,肯定哪里出了問題了。
以前導出外面的鏈接,我都加了nofollow標簽,這是正確的做法。后來,我建立了站內跳轉,這樣可以省一些事,免得鏈接失效要修改很多網頁,只需要把跳轉代碼里面的網址修改一下就行了。
這些跳轉代碼沒有什么意義,我也不想搜索引擎收錄,然后在robots協議里面寫了,禁止蜘蛛訪問這個目錄了。
百度遵循了robots協議,沒有抓取跳轉內容,但是搜狗沒有管robots協議,依然抓取了跳轉鏈接網頁。這就導致了,搜索引擎抓取目錄不全。我懷疑,搜狗是因為這個原因,K了我好多網頁。
不管內鏈還是外鏈,其實都應該加nofollow標簽,意思是告訴搜索引擎,不要追蹤這個網址了。
網站如果導出外鏈或者內鏈過多,會影響網站權重,即使把權重轉移到跳轉代碼,沒有什么意義。跳轉代碼里面文章說明,收錄了,也帶來不了流量。
很多細節,其實需要大家注意。
谷歌最近也出了一個政策,叫人導出外鏈加nofollow標簽。沒有哪個搜索引擎算法比谷歌牛逼,既然谷歌都說,我看,還是要處理一下。
大概有八九百個網頁,需要一個一個的修改,工作量也不小。
導向內頁的跳轉鏈接加了nofollow標簽,那么robots禁止蜘蛛協議也要取消,不能影響了蜘蛛爬行路徑。