访问正常,百度蜘蛛无法访问

问:从前两天开始百度蜘蛛就不能正常抓取网站了,,排除了域名问题,新绑一个域名上去依然无法抓取。。。ROBOTS设置正常。。。下午换过IP后,百度蜘蛛还是不能正

常抓取。考虑是服务器的问题。。。麻烦检查一下。
,访问正常,百度蜘蛛无法访问

答:您好,  

           请点击附图   报错,并等待百度方面更新dns 缓存  ,等待百度dns 更新后即可正常抓取 ,

非常感谢您长期对我司的支持,谢谢!

问:不是IP问题,,下午新建一个二级域名,抓取几次后,依然显示拒绝访问。。。

答:您好,可能和cc防护有关,我们调整了,您再测试下,非常感谢您长期对我司的支持!

问:还真是cc防护的问题,,马上就能正常抓取了,,,K掉了二个站。。损失惨重。。。不过还是多谢你了。

问:FTP(上传)用户名:**********
图片上这个ip在日志查询到访问网站两千多次,看似百度蜘蛛访问,这是不是真的百度蜘蛛访问啊,不是的,我需不需要屏蔽这个ip啊,这个这个蜘蛛啊

答:您好,该ip暂时只能查询到是一个香港ip地址,核实您主机是国内主机,其百度蜘蛛抓取网站一般是国内ip地址,如对应访问频率很高建议可以参考http://faq.myhost.net/faq/listagent.asp?unid=681 去屏蔽一下对应ip(根据对应站点访问日志来看其ip的访问情况确实不是很正常),非常感谢您长期对我司的支持!

问:FTP(上传)用户名:**********
图片上这个ip在日志查询到访问网站两千多次,看似百度蜘蛛访问,这是不是真的百度蜘蛛访问啊,不是的,我需不需要屏蔽这个ip和这个蜘蛛啊

答:您好,使用nslookup 127.0.0.1查询这个ip.未获取到任何关于百度的解析域名,应是模拟的百度蜘蛛抓取,建议可参照http://faq.myhost.net/faq/listagent.asp?unid=681

屏蔽此ip即可,非常感谢您长期对我司的支持!

问:需要屏蔽这个蜘蛛吗?

答:您好,这个是百度蜘蛛ua屏蔽会影响百度抓取,建议参考http://faq.myhost.net/faq/listagent.asp?unid=681 屏蔽对应的ip,这样不影响正常抓取,非常感谢您长期对我司的支持!

问:他们是怎么找上我们的网站的呀,我们能怎么防护,不让他们扫描我们网站呢

答:您好,对应的网站是公布在公网上的,网上的人员都可以浏览您的网站。请参考上面教程屏蔽对应的ip,这样对应的ip的用户就无法访问您的网站了,非常感谢您长期对我司的支持!

更多关于云服务器域名注册虚拟主机的问题,请访问西部数码官网:www.west.cn
赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 访问正常,百度蜘蛛无法访问

登录

找回密码

注册