问： discuz 论坛，不禁止百度蜘蛛爬行，服务器CPU就100%,%u8BF7教解决办法？
不可能一直都禁止baiduspider抓取网站的啊？,云服务器问题
问：抓取频次我已经调的很小很小了。
登录断开53214
答：您好， 查看现在服务器资源使用率较低，请异常时反馈工单我司协助您分析排查 ，
非常感谢您长期对我司的支持,谢谢！
问： web.config加下面的这个代码，就没问题了，删除了就会cpu100
<rule name=\”Block spider\”>
<match url=\”(^robots.txt$)\” ignoreCase=\”false\” negate=\”true\” />
<conditions>
<add input=\”{HTTP_USER_AGENT}\” pattern=\”baiduspider\” ignoreCase=\”true\” />
</conditions>
<action type=\”CustomResponse\” statusCode=\”403\” statusReason=\”Forbidden\” statusDescription=\”Forbidden\” />
现在我是加了这代码，所以cpu正常，删除这代码就有问题
问：www.iliema.com
答：您好，检查了近期的网站访问日志 ，已经较少出现百度蜘蛛大量访问的情况，建议可以删除拦截代码 ，
若日志再次出现大量频繁访问，可以再次添加此段代码进行拦截 ，
非常感谢您长期对我司的支持,谢谢！
问：
删除了就会这样，cpu100%%u3002怎么解释？
问：
添加上就恢复正常。
问：
已经限制了百度抓取
答：您好，暂时取消屏蔽百度蜘蛛代码,我司观察了一会,主要是来自于59.111段的蜘蛛ip访问较多,当前已经通过您的服务器防火墙屏蔽了59.111段的ip,现在cpu状态正常,修改前的文件保存在web.config-bak里,我司观察了一会,现在cpu状态正常,非常感谢您长期对我司的支持!
问：又会这样，cpu100%%u3002怎么解释？
答：您好，我们分析了一下日志，主要是http://www.semrush.com/bot.html 这个蜘蛛抓取较为频繁，目前服务器cpu已经正常了，目前这种冷门的蜘蛛还是帮您进行了屏蔽，规则在web.config中，请再观察下，谢谢。
