狼牙科技网站建设
扫码关注狼牙科技

扫一扫微信二维码

如何编写搜索引擎Robots协议?

狼牙科技2019-01-25首页 > 新闻资讯 > 经验交流

  搜索引擎Robots协议,是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。  首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置Robots协议文件:

  一、允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  二、禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

  User-agent: Msnbot

  Disallow: /

  例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:

  百度的蜘蛛:baiduspider

  Google的蜘蛛: Googlebot

  腾讯Soso:Sosospider

  Yahoo的蜘蛛:Yahoo Slurp

  Msn的蜘蛛:Msnbot

Robots文件

  三、禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: *

  Disallow: /目录名字1/

  Disallow: /目录名字2Disallow: /目录名字3/

  把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。

  四、禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)

  Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)

  例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:

  User-agent: Msnbot

  Disallow: /admin/

  五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: *

  Disallow: /*.htm 说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

  六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:

  User-agent: *

  Allow: .htm$ 说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

  七、只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

  User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)

  Disallow:

 

文章关键词