学习永不停止
我们一起努力吧!

对百度云观测大量爬虫访问造成服务器负担的吐槽

阳江鼎阳抄数设计交流群

相信大多数站长跟我一样,都会找一些自认为比较权威的站长工具来保证网站的运转安全。只可惜,名气跟实际相差甚远。我这里不得不吐槽一下百度云观测。百度的站长工具中的“百度云观测”这几天让我困扰不已。原本想用这个工具对网站的安全进行监控,有问题就提醒自己,但意想不到的是这反而给自己带来了麻烦。

12月2日下午,完成安装百度云观测。12月3日中午,收到空间服务器邮件提醒:流量被不明程序不正常占用。这让我起了警惕,莫非被人攻击了?在空间流量统计中,我发现了问题所在,原来一直被一个叫“Baidu-YunGuanCe-SLABot(ce.baidu.com)”的程序不断地、反复地访问服务器,造成数据库、空间流量非正常被占用,从12月2日至12月3日这一天有将近500MB的流量被Baidu-YunGuanCe-SLABot(ce.baidu.com)这个程序耗费掉,点击量达到7万之多,对原来就不富裕、有月限制流量的空间造成了大负担,首页打开比以前慢很多,如果这样下去,不出10天,我的网站就会因为被超出流量被空间商限制使用。忘记说了,“Baidu-YunGuanCe-SLABot(ce.baidu.com)”是什么程序呢?其实它就是百度云观测的爬虫。

这样下去肯定不行呀,于是我就递交投诉到了百度。百度的工作人员建议我将监控时间间隔设置大一些,有些地方没必要一天一监控。我觉得也有道理,就将百度云观测设置一月一次程序扫描。原本以为这样就解决了。但是第二天、第三天网站依然被大量的Baidu-YunGuanCe-SLABot(ce.baidu.com)爬虫访问。没办法,我只能将接口文件删除,让百度云观测失效。按道理,我不用百度云观测了,总没有道理再来我这里吧?!经过观测,Baidu-YunGuanCe-SLABot(ce.baidu.com)爬虫还真赖上了我,无论如何,每天总会有大量的来访问一下,虽然所占用的流量减少了一部分,但是仍然不正常呀!

再对比一下另外一个我经营了3年多的网站,因为我并没有让它使用百度云观测,所以我检查这里并没有什么Baidu-YunGuanCe-SLABot(ce.baidu.com)爬虫。一招惹了,想甩也甩不掉。真的没办法了吗?在一个朋友的建议下,我只能在.htaccess程序中加入代码对Baidu-YunGuanCe-SLABot(ce.baidu.com)进行了限制访问。经过一天的监测,确实禁止的效果还可以,但依然没办法完全消除,这个程序一天还占用了大概50MB左右的流量。

最后,在网站再找了一组屏蔽代码,将其拒其门外才总算完结了这几天的困扰!

未经允许不得转载:http://jdks100.com/风语守望_博客 » 对百度云观测大量爬虫访问造成服务器负担的吐槽


分享到:更多 ()
关注“公众平台”:     学习交流QQ群(185619299):

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • 9 + 3 = ?

风语守望_博客,共同学习,一起成长!

网站首页联系我们
防复制