请帮在网站日志忙添加百度蜘蛛爬取记录规则

问:请帮在网站日志忙添加百度蜘蛛爬取记录规则,百度站长工具显示是每日都有将近30次爬取,可是log记录里却没有任何记录,请帮忙处理下,谢谢。,请帮在网站日志忙添加百度蜘蛛爬取记录规则

答:您好,抱歉,具体那个空间,我司核实下日志,非常感谢您长期对我司的支持!

问:请帮在网站日志忙添加百度蜘蛛爬取记录规则,百度站长工具显示是每日都有将近30次爬取,可是log记录里却没有任何记录,请帮忙处理下,谢谢。

答:您好,抱歉,具体那个空间,我司核实下日志,非常感谢您长期对我司的支持!

问:你好,zvzv.com.cn 网站流量怎么用的那么快,具体是那个文件浏览的多?可以帮我屏蔽掉吗?

答:您好,当前我司查看您主机流量消耗应该是百度蜘蛛爬行导致的,查看您主机FTP空间logs目录下站点访问日志中有很多的蜘蛛爬行记录,并核实到这些蜘蛛来访ip都是北京的,请问您是在百度官方设置了很高的爬行频率吗?建议您可以参考https://www.west.cn/faq/list.asp?unid=626 去重新设置一下对应百度蜘蛛的抓取,非常感谢您长期对我司的支持!

问:  这样设置是不是抓取就很低哦?

答:您好,您截图中的赚取已经是很高了,平均一天抓取建议不要超过几十次,非常感谢您长期对我司的支持!

问:  你好,这个百度站长这里不能手动设置,拉到最低就是这个了。怎么办?

答:您好,如该已经是最低设置,那么您只有通过再主机FTP空间www目录下创建robots.txt,来屏蔽一些您空间中目录的百度蜘蛛爬行,参考这里(而您空间中有很多的js文件和css样式文件会被爬行到),非常感谢您长期对我司的支持!

问:你好。 这样是不是就能把所有的文件都屏蔽了哦?

答:您好,可以这样的,非常感谢您长期对我司的支持!

问:主机流量5天用了50G 请求解决方法

答:您好,

检查您的日志发现您的流量大多数被baiduspider蜘蛛爬取耗费了很多的流量。光是昨天就有11万多行的爬行记录。不排除有人恶意伪造百度蜘蛛爬取您的网站。建议参考https://faq.myhost.net/faq/listagent.asp?unid=662中的屏蔽百度蜘蛛再观察下。

非常感谢您长期对我司的支持!

更多关于云服务器域名注册虚拟主机的问题,请访问西部数码官网:www.west.cn
赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 请帮在网站日志忙添加百度蜘蛛爬取记录规则

登录

找回密码

注册