学习永不停止
我们一起努力吧!

301重定向后搜索蜘蛛还能访问旧链接吗

阳江鼎阳抄数设计交流群

旧域名更换成新域名,用301进行重定向是很有必要的,因为这有利于权重的转移。不过,仍然有很多人疑问 ,301重定向后蜘蛛还会不会有意无意地访问抓取旧链接呢?博主最近刚迁移了下设的一个网站并更换了域名,通过新旧网站日志发现,其实百度蜘蛛仍然会进入被定向后的旧域名链接中进行抓取,甚至在初期还会有旧链接文章收录被放出来。初时博主跟很多人一样,觉得这有点不正常,后来想想,其实蜘蛛们到底跟人类打开浏览器点击网站不一样,它会避开发生的跳转而直接进入到旧链接中进行读取,如果没有什么限制行为,新旧链接同时收录没有什么不可能!

于是问题来了,类似博主这样的更换网站服务器及域名,会不会被搜索引擎当成镜像站处罚K站呢?答案是:极有可能!为了避免这种情况,站长们在做好301重定向的同时,一定要通过蜘蛛协议禁止搜索引擎访问抓取旧网站的内容,方法是在robots.txt中写入禁止抓取代码。本站曾有一篇文章专门给出了禁止代码,大家可以搜索复制使用。

不过,搜索引擎协议并非对任何蜘蛛都有效果,有些“无赖”爬虫就对它不管不顾。在此,一并吐槽下360搜索:博主的第三个网站去年年底就设置了新旧域名301重定向(主机没换,仅换域名),也在站长平台绑定了新绑名,但现在8个月过去了,旧域名的文章仍不断被收录放出来,更让人无奈的是新域名下面的所有链接居然一点也没有收录,权重转移已成了名副其实的“空话”。当然,这仅仅是吐槽,不可能将大名鼎鼎的360骂成“无赖”的。

细节决定成败,做网站大意往往会导致继续走弯路。本文看似简单短小,但希望能给需要的朋友一点启示,这就足够了!

未经允许不得转载:http://jdks100.com/风语守望_博客 » 301重定向后搜索蜘蛛还能访问旧链接吗


分享到:更多 ()
关注“公众平台”:     学习交流QQ群(185619299):

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • 6 + 6 = ?

风语守望_博客,共同学习,一起成长!

网站首页联系我们
防复制