大量网站出现屏蔽360蜘蛛情况

 

问:

www.mro365.com
myehs.cn
www.sa8000cn.cn
www.chinaehs.net
www.chinaehs.org
www.kongqihuxiqi.cn等等网站均大批量出现此情况
,大量网站出现屏蔽360蜘蛛情况

答:您好,抱歉,已经调整,您再使用观察一下,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!

问:具体原因是什么样的?

答:您好,抱歉,之前是我司的拦截系统拦截了部分360蜘蛛IP导致的,目前已经放行处理,您再观察一下,非常感谢您长期对我司的支持!

问:请问贵司是否还有屏蔽其他搜索引擎的蜘蛛?有的话告知一下详情

答:您好,没有屏蔽其他常用蜘蛛的,您再使用观察一下,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!

问:这个网站的流量怎么这么大啊,能否屏蔽除百度360之外的其他伪蜘蛛的爬行

答:您好,查看日志bingbot  YisouSpider  抓取频繁,可以参考https://www.west.cn/faq/list.asp?unid=662  设置拦截,非常感谢您长期对我司的支持!

问:我按照那个修改了之后,流量反而增加了很多,求解决

问:还有个问题,昨天我看我8.7那天的流量才3G多点,今天再看就变成5G多了,这是怎么回事

问:正常来说,已经过去的,统计出来的数据应该是恒定不变的啊,怎么会自己增加那么多呢

答:您好, 如图,主要是图片和/mycity/pinyin.txt 这个文件被大量访问造成的占用流量。

分析web日志,把您认为有异常的蜘蛛爬行屏蔽,继续观察。另外核实http://yanwdbcenter.gotoip1.com/mycity/pinyin.txt 这个文件被大量访问是否正常,请进行必要的处理。

问:我在配置文件里面添加了屏蔽YisouSpider  ,但是我查了日志,这个还是在访问嘛,难道屏蔽不起作用?

问:是不是我配置完成了,你们要重启服务器

问:YisouSpider  bingbot  SOUGOU屏蔽了,但是访问日志里面还是大量存在,设置的规则没有起作用

答:您好,

1.测试屏蔽是有作用的,屏蔽之后并不是说对应的蜘蛛就不会再访问了,而是访问的时候服务器返回拒绝状态,不返回数据。(如下截图中的403状态),从而降低流量消耗。2.同时您可以开启百度云加速来进行防护,可过滤部分异常请求和访问。,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!

问: 流量超标是什么原因 

答:您好, 查看日志,您站点中大量360爬虫访问导致,如截图, 请参照 http://www.west.cn/faq/list.asp?unid=662 对蜘蛛爬虫进行屏蔽,即可减少流量消耗,谢谢 

更多关于云服务器域名注册虚拟主机的问题,请访问西部数码官网:www.west.cn
赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 大量网站出现屏蔽360蜘蛛情况

登录

找回密码

注册