问:请帮在网站日志忙添加百度蜘蛛爬取记录规则,百度站长工具显示是每日都有将近30次爬取,可是log记录里却没有任何记录,请帮忙处理下,谢谢。,请帮在网站日志忙添加百度蜘蛛爬取记录规则
答:您好,抱歉,具体那个空间,我司核实下日志,非常感谢您长期对我司的支持!
问:请帮在网站日志忙添加百度蜘蛛爬取记录规则,百度站长工具显示是每日都有将近30次爬取,可是log记录里却没有任何记录,请帮忙处理下,谢谢。
答:您好,抱歉,具体那个空间,我司核实下日志,非常感谢您长期对我司的支持!
问:你好,zvzv.com.cn 网站流量怎么用的那么快,具体是那个文件浏览的多?可以帮我屏蔽掉吗?
答:您好,当前我司查看您主机流量消耗应该是百度蜘蛛爬行导致的,查看您主机FTP空间logs目录下站点访问日志中有很多的蜘蛛爬行记录,并核实到这些蜘蛛来访ip都是北京的,请问您是在百度官方设置了很高的爬行频率吗?建议您可以参考https://www.west.cn/faq/list.asp?unid=626 去重新设置一下对应百度蜘蛛的抓取,非常感谢您长期对我司的支持!
问: 这样设置是不是抓取就很低哦?
答:您好,您截图中的赚取已经是很高了,平均一天抓取建议不要超过几十次,非常感谢您长期对我司的支持!
问: 你好,这个百度站长这里不能手动设置,拉到最低就是这个了。怎么办?
答:您好,如该已经是最低设置,那么您只有通过再主机FTP空间www目录下创建robots.txt,来屏蔽一些您空间中目录的百度蜘蛛爬行,参考这里(而您空间中有很多的js文件和css样式文件会被爬行到),非常感谢您长期对我司的支持!
问:你好。 这样是不是就能把所有的文件都屏蔽了哦?
答:您好,可以这样的,非常感谢您长期对我司的支持!
问:主机流量5天用了50G 请求解决方法
答:您好,
检查您的日志发现您的流量大多数被baiduspider蜘蛛爬取耗费了很多的流量。光是昨天就有11万多行的爬行记录。不排除有人恶意伪造百度蜘蛛爬取您的网站。建议参考https://faq.myhost.net/faq/listagent.asp?unid=662中的屏蔽百度蜘蛛再观察下。
非常感谢您长期对我司的支持!