学习永不停止
我们一起努力吧!

robots屏蔽域名某一字段中的链接写法

阳江鼎阳抄数设计交流群

robots.txt是robots协议(或者叫:爬虫协议、机器人协议等)的书写文本,其主要用来告诉搜索引擎哪些东西被允许,哪些是禁止被抓取的。尽管有很多爬虫未必会遵守,但对于像百度、google这样的搜索引擎,作用还是大大的。通常,网上很多介绍如何屏蔽网上目录文件的写法,对于链接的介绍也有,但是很少能搜索出来使用。所以下面咱们介绍“屏蔽域名某一字段中的链接”。其写法如下:

“User-agent: *
Disallow: /http://你的域名/二级目录/*链接中某字段或网页名*

比如屏蔽:”www.jdks100.com/wenda/article/”下面所有的链接,那么则改成:“Disallow: /www.jdks100.com/wenda/article”,上传网站即可生效。同时,为了预防出错,建议大家要养成好的习惯,就是写完robots.txt后都要用robots检测工具检查一下,看下有没有问题。

未经允许不得转载:http://jdks100.com/风语守望_博客 » robots屏蔽域名某一字段中的链接写法


分享到:更多 ()
关注“公众平台”:     学习交流QQ群(185619299):

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • 1 + 8 = ?

风语守望_博客,共同学习,一起成长!

网站首页联系我们
防复制