问：我们网站每天的流量很小 之前购买的是2M的带宽 一直都很顺畅 到了这个月10号左右的时候 一直都是带宽占满 然后我前几天联系代理 代理说联系你们 说也不知道什么情况 怀疑可能是ddos攻击 于是就增加到了3M的带宽 又试了一段时间 现在关键是 今天带宽又被占满了，而且在不断的占满，希望给予解决方法！
,网站流量小，带宽一直都被占满
答：您好，
vi /www/wwwlogs/127.0.0.1.log 核查主要是百度蜘蛛爬行把带宽占用完了，看了这些都是正常蜘蛛爬行，没有异常，建议升级带宽到10M观察看看。
问：如果限制百度抓取频率可以吗？因为我这个站最多100多个IP一天，把带宽调到10M这个成本太高了吧，也太浪费了吧！
答：您好，是可以的，您可以在对应的站长百度-网站支持-数据监控-抓取频率中设置对应的抓取频率，设置对应的抓取评论低一点。
同时可以参考http://faq.myhost.net/faq/listagent.asp?unid=626 设置对应的百度蜘蛛可以抓取的连接。减小消耗。
非常感谢您长期对我司的支持!
问：另外这个网站日志5.1G 我看太大了，我下载下来一份后，然后清空网络日志 可以吧？
答：您好，是的可以的,5.1g日志文件，对应的文件太大都无法直接打开，您可以下载备份后再进行清理对应的日志，然后重新进行生成对应的日志，非常感谢您长期对我司的支持!
问：刚在宝塔面板上下载的网站日志，还没下载完就断了，现在宝塔面板打不开了，这是什么情况？你们的控制面板上在哪下载网站日志呢？
答：您好，查看到之前是bt面板卡死，您对应的文件太多，通过宝塔直接下载导致了bt面板卡死。
建议您对应的文件通过ftp进行下载，或者将对应的文件移动到网站目录，然后通过域名加文件路径进行下载。
非常感谢您长期对我司的支持!
问：现在是网站日志都根本就下载不下来，不管是FTP下载还是什么，你们能提供下载，然后压缩发至我邮箱@qq.com）吗？
答：您好，
网站日志下载到您本地查看也没有任何意义，在服务器上就能通过日志分析出来的确站点是被百度蜘蛛恶意爬行导致带宽耗尽了。
我们给您做了如下处理：
1.帮您在当前站点配置文件/www/server/panel/vhost/nginx/127.0.0.1.conf 中给您添加了屏蔽百度蜘蛛的代码，代码已经截图反馈。
2.不过这样屏蔽有一个弊端就是会拦截百度蜘蛛的正常爬行导致收录失败。目前服务器的带宽已经恢复正常。
3.现在服务器的带宽恢复正常了，并且测试访问https://www.ycfyhj.com/的首页和内页也都已经无问题。
4.我们建议您在明天再反馈本工单，我们尝试为您取消屏蔽百度蜘蛛的抓取然后您再观察一下。
或者您也可以自行将/www/server/panel/vhost/nginx/127.0.0.1.conf 中的相关屏蔽代码注释，然后重启nginx看看是否正常。
非常感谢您对我司的支持，谢谢！
问：谢谢您！我本来是想找人分析一下百度蜘蛛爬行的主要是我网站的哪个目录，是否无效目录，然后进行robots的设置的，因为后面我不能说完全屏蔽百度蜘蛛爬行的，对吧，毕竟没有收录，我网站也没有什么意义了。
那现在能否这样操作：
1、我先清空网站日志
2、设置限制百度抓取频率
3、明天再提交工单，请你们取消屏蔽百度蜘蛛的抓取
4、然后再看新生成的日志
以上操作可以吗？
答：您好，
这样也可以，不过需要给您特别说明：
1.robots.txt只是提供了爬行规则，但是蜘蛛不一定会完全按照规则去执行，这并非是强制性的规定只是约定俗成。
2.请您尽快到百度站长平台去修改爬行频率，将牌型频率降到最低。
3.您可以在明天联系我们，我们帮您取消屏蔽蜘蛛抓取的规则即可。
非常感谢您对我司的支持，谢谢！
问：您好，我想咨询一下，您是不是屏蔽百度蜘蛛抓取的代码后，我已经被百度收录的页面，从百度点击的时候，全部都出现了403页面呢？ 然后这个403页面我再刷新一下网址的时候又能打开。我刚试了一下site:www.ycfyhj.com 被收录的页面点击都是403，但是刷新一下就又能打开了！
答：您好，
现在我们尝试将屏蔽规则取消了，同时观察了一下带宽已经没有跑高。
您现在在观察一下，之前的屏蔽规则加上以后所有和百度相关的来访和点击都会被屏蔽。
非常感谢您对我司的支持，谢谢！
