学习永不停止
我们一起努力吧!

二级目录网站应该将robots.txt放哪让搜索引擎蜘蛛读取?

阳江鼎阳抄数设计交流群

都知道robots对于网站的重要。常规情况下,我们肯定将robots.txt放在根目录中,并不会对robots.txt放在哪里产生任何疑问!但特殊的情况是:当我们一个虚拟主机下面有多个网站时(比如,根目录的A文件夹安装一个网站,B文件夹安装一个网站….),各个网站应该将robots.txt放在哪里呢?放在根目录统一规划还是各自放在二级目录中?

个人认为这得分开两种情况:一、经过跳转型的网站;二、没有经过跳转的网站。

首先我们来看“经过跳转型的网站”。这类网站是用另外的域名绑定在这个二级目录中所形成的网站,要想达到这种效果,必须通过一些技术手段进行跳转。比如原空间绑定的域名是www.aaa.com,现在再在根目录设一个ttt文件夹,在里面安装了一个新网站并绑定了一个新域名www.bbb.com,得到的效果是:当www.aaa.com时,还是原来的网站,当输入www.bbb.com会直接启动ttt目录中的网站程序,完全独立。对于这样的跳转型网站,应该将robots.txt放在二级目录中,比如放入刚才举例的ttt文件夹中。原因是当蜘蛛读取这个域名资源时会直接被引导跳转至二级目录,根本无须经过根目录。也就是说,如果此时将管理二级网站的robots.txt放在根目录中则起不到应有的作用。

接着,我们再来看“没有经过跳转的网站”。这类网站在二级目录中设置网站是基于同一域名下。比如在www.aaa.com加入一个bbs的网站,形成“www.aaa.com/bbs”这样的域名,主域名相同。这种情况应该将robots.txt放于根目录中配置bbs网站,原因是搜索引擎肯定要经过根目录进行读取。
 

未经允许不得转载:http://jdks100.com/风语守望_博客 » 二级目录网站应该将robots.txt放哪让搜索引擎蜘蛛读取?


分享到:更多 ()
关注“公众平台”:     学习交流QQ群(185619299):

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • 1 + 9 = ?

风语守望_博客,共同学习,一起成长!

网站首页联系我们
防复制