问：近日我的主机经常被Sogou Spider恶意抓取，流量奇高，导致主机经常出现503错误，我想通过屏蔽搜狗蜘蛛IP的方法予以解决，请向我提供近两日的网站访问日志，谢谢！
如下图：,最近我的主机经常被Sogou Spider恶意抓取
答：您好，如果要屏蔽蜘蛛，可参考：
在网站根目录下创建规则文件.htaccess(没有这个文件就手动创建，有的话就在该文件中添加对应规则)
<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} \”SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu\” [NC]
RewriteRule !(^robots\\.txt$) – [F]
</IfModule>请将该成搜购蜘蛛名称，这样来防止搜狗蜘蛛来抓取，请核实另：网站访问日志，可使用FTP登陆到虚拟主机空间，并在中查看，请核实,非常感谢您长期对我司的支持!
问：我在1月21日就上传了robots.txt到虚拟主机了
那时候流量才用90%%u4F46是3天后为什么你们还是把我网站关闭了呢？
答：您好，查看日志 大量蜘蛛抓取 主要是Baiduspider YisouSpider Sogou web spider
建议参考https://faq.myhost.net/faq/listagent.asp?unid=662 设置拦截,非常感谢您长期对我司的支持!
问：我已经设置屏蔽了所有的搜索了
麻烦把我的主机开启一下谢谢
答：您好，已经开启主机,但目前离月初还有较长时间,请充值足够的流量,非常感谢您长期对我司的支持!
问：最近在上传数据，更新网站地图sitemap.xml，发现百度抓取失败，我购买的4个虚拟主机，所对应的网站，都出现这种情况，百度站长数据显示，抓取失败，，之前还是正常的，，，最近一段时间显示都是这样的，，抓取不稳定，抓取时间延长，超时，，或直接断掉，，，所以，请你们检查下服务器
答：您好，今天百度蜘蛛服务器有问题,绝大部分网站抓取都是失败的,目前只能等待百度那边恢复,非常感谢您长期对我司的支持!
