天天做天天爱天天综合网-天天做天天爱天天影视综合-天天做天天爱天天爽综合区-天天做天天爱天天爽天天综合-福利一区二区在线观看-福利一区二区视频

互聯網+內容
134-1887-2552

深圳網站建設公司:Robots文件寫法+3個實戰經驗分享小白看過來

標簽:深圳網站建設公司2021-09-11 1784

最近看到高端SEO社群里有同學討論Robots相關問題,我們從實戰的角度,給大家講講怎么寫Robots寫法,以及在實戰中可能遇到的問題,都給大家講一下!希望可以幫助更多不懂的同學!

Robots定義

什么是Robots,簡單來講,其實Robots就是放在網站根目錄下的一個TXT文件,但是這個TXT文件對搜索引擎規定,哪些頁面可以訪問,哪些頁面不行。

Robots一般放在網站根目錄下,文件名固定為robots.txt的(全部小寫)、當搜索引擎要爬取我們網站的時候,會先讀一下robots.txt里面的內容,判斷哪些URL可以訪問,哪些不行,然后進行爬取、收錄。

Robots規則

常用的幾類語法:

User-agent: 定義搜索引擎的類型

google蜘蛛:googlebot

百度蜘蛛:baiduspider

yahoo蜘蛛:slurp

alexa蜘蛛:ia_archiver

msn蜘蛛:msnbot

Disallow: 定義禁止搜索引擎收錄的地址

舉個例子來講:User-agent: * Disallow: /

禁止所有搜索引擎訪問網站,(*)為通配符

Allow: 定義允許搜索引擎收錄的地址

User-agent: * Disallow: /a/ Allow: /a/b

如上面例子,限制搜索引擎抓取a目錄,但允許搜索引擎抓取a目錄下的b目錄

$通配符

User-agent: * Allow: .htm$

匹配URL結尾的字符。如下面代碼將允許蜘蛛訪問以.htm為后綴的URL:

*通配符

User-agent: * Disallow: /*.htm

告訴蜘蛛匹配任意一段字符。如下面一段代碼將禁止所有蜘蛛抓取所有htm文件:

Sitemaps位置

Sitemap:

Robots心得

1、許多朋友都喜歡讓搜索引擎不抓取自己的后臺,于是將自己的后臺地址寫到robots.txt里面,其實個人不建議這樣做,因為考慮到網絡安全,許多Hack都喜歡通過robots.txt看大家的后臺,方便攻擊!

2、網站必須要有robots.txt,如果網站沒有robots.txt,搜索引擎隨意抓取的話,可能會抓取到一些低質量頁面,從而導致網站收錄、流量受到影響,如上圖是沒有robots.txt。

3、當我們做完robots.txt后,一定要去【百度站長工具平臺】抓取、測試robots.txt,以及測試URL是否可以抓取。

微信分享領紅包!
相關閱讀 / 返回上一頁
主站蜘蛛池模板: 成人看免费一级毛片| 国产成人a∨麻豆精品| 久久精品成人| 欧美 日韩 国产 在线| 交换国产精品视频一区| 欧美一区二区三区视频在线观看| 亚洲精品免费观看| 亚洲一区二区三| 国产资源视频在线观看| 日韩在线综合| 欧美αv日韩αv另类综合| 国产不卡视频在线播放| 亚洲高清在线视频| 亚洲欧美精品在线| 日韩高清dvd| 日韩不卡一区| 免费又黄又爽又猛大片午夜| 久久九九国产| 欧美成人高清视频| 国产在线播放一区| 国产视频a| 国产高清免费在线观看| 国产精品免费视频网站| 一区二区在线播放视频| 亚洲欧美日韩中另类在线| 日韩 亚洲 制服 欧美 综合| 另类欧美日韩| 国产黄色毛片| 在线亚洲激情| 日韩美在线| 欧美日韩亚洲无线码在线观看| 欧美精品午夜久久久伊人| 亚洲欧美日韩色| 欧美国产精品va在线观看| 全黄a一级毛片| 欧美亚洲综合视频| 国产视频一区在线| 日韩欧美激情视频| 久久综合社区| 国产 欧美 在线| 91av欧美|