学习永不停止
我们一起努力吧!

实践证明:robots里写sitemap对百度蜘蛛作用不大

阳江鼎阳抄数设计交流群

很多人认为,robots.txt是搜索引擎蜘蛛们访问的第一个对象,因此将sitemap地址放在其中必定加快蜘蛛的抓取。经过前段时间的发现,其实将sitemap放在robots里作用不大。

笔者二个月前上线了两个网站,在上线前就有意识地对“robots里写sitemap会有多大的作用”进行了测试。站A加入sitemap,站B则不放进去。同时,两个站均以原创进行填充网站,一天发文30篇,中间不做任何外链。上线第三天,两站差不多同时被收录首页。刚上线的网站,不企求很快被收收录。因此在一个月后再查结果发现,站A被收录了10来篇,而站B已经收录了50多篇。这其实已说明,robots里写入不写入sitemap并没有多大的作用。但心里仍然好奇,认为不收录或入许百度对文章的喜好不同所致。第二个月,每天在日志对比两站的百度蜘蛛爬行情况,数据也发现,站B进来的蜘蛛量比站A还多一些。综合这两个月的测试发现,robots里写sitemap对百度蜘蛛作用不大!于是干脆将A站robots里的sitemap去掉,让它们自由发挥吧!

以上仅是简单测试网站robots的一个小实例,当中可能有考虑不周全的地方。但个人依然认为,让蜘蛛们更好的爬行网站,sitemap功不可没,但将其放在robots里面确实不是好办法。建议大家多使用一下站长平台,将sitemap添加到里面,多使用手动、主动、自动递交工具,这或许能加快文章的收录。

未经允许不得转载:http://jdks100.com/风语守望_博客 » 实践证明:robots里写sitemap对百度蜘蛛作用不大


分享到:更多 ()
关注“公众平台”:     学习交流QQ群(185619299):

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • 3 + 6 = ?

风语守望_博客,共同学习,一起成长!

网站首页联系我们
防复制