学习永不停止
我们一起努力吧!

wordpress博客网站专用的robots.txt下载(最规范的写法)

阳江鼎阳抄数设计交流群

wordpress网站的健康发展离不开站长们每时每刻的耕耘。robots作为“网络爬虫排除协议”(注意是“协议”,并非“标准”,对于一些“野性”爬虫不起作用)被默认成规地应用于网站建设中,2008年淘宝网屏蔽蜘蛛,2011年京东的一淘网屏蔽了爬虫等等的实例都说明重视robots.txt对于未来网站建设的重要性。

对于WordPress网站而言,其同样需要阻止搜索引擎蜘蛛爬行一些目录和文件,约定哪些不允许被抓取,这样才能更有效的节省搜索引擎对服务器带宽的占用,为提高网站在搜索引擎中的排名出上一份力。以下是自认为最规范的写法:

User-agent: *
Disallow: /*?*
Disallow: /feed
Disallow: /wp-admin/
Disallow: /wp-includes/ 
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Sitemap: http://jdks100.com/sitemap_baidu.xml
Sitemap: http://jdks100.com/sitemap.html

将上述代码放于robots.txt,根据实际稍作修改保存后上传于网站根目录中即可生效。当然慎重起见,上传后建议用站长工具模拟一下,以防设置出错影响收录。

后注:代码中的Disallow: /*?* 表示禁止爬虫抓取带有“?”的动态页面,其他的无非就是禁止一些插件、JS、CSS不被抓取,这里就不一一描述了!

未经允许不得转载:http://jdks100.com/风语守望_博客 » wordpress博客网站专用的robots.txt下载(最规范的写法)


分享到:更多 ()
关注“公众平台”:     学习交流QQ群(185619299):

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • 5 + 3 = ?

风语守望_博客,共同学习,一起成长!

网站首页联系我们
防复制