问:从前两天开始百度蜘蛛就不能正常抓取网站了,,排除了域名问题,新绑一个域名上去依然无法抓取。。。ROBOTS设置正常。。。下午换过IP后,百度蜘蛛还是不能正
常抓取。考虑是服务器的问题。。。麻烦检查一下。
,访问正常,百度蜘蛛无法访问
答:您好,
请点击附图 报错,并等待百度方面更新dns 缓存 ,等待百度dns 更新后即可正常抓取 ,
非常感谢您长期对我司的支持,谢谢!
问:不是IP问题,,下午新建一个二级域名,抓取几次后,依然显示拒绝访问。。。
答:您好,可能和cc防护有关,我们调整了,您再测试下,非常感谢您长期对我司的支持!
问:还真是cc防护的问题,,马上就能正常抓取了,,,K掉了二个站。。损失惨重。。。不过还是多谢你了。
问:FTP(上传)用户名:**********
图片上这个ip在日志查询到访问网站两千多次,看似百度蜘蛛访问,这是不是真的百度蜘蛛访问啊,不是的,我需不需要屏蔽这个ip啊,这个这个蜘蛛啊
答:您好,该ip暂时只能查询到是一个香港ip地址,核实您主机是国内主机,其百度蜘蛛抓取网站一般是国内ip地址,如对应访问频率很高建议可以参考http://faq.myhost.net/faq/listagent.asp?unid=681 去屏蔽一下对应ip(根据对应站点访问日志来看其ip的访问情况确实不是很正常),非常感谢您长期对我司的支持!
问:FTP(上传)用户名:**********
图片上这个ip在日志查询到访问网站两千多次,看似百度蜘蛛访问,这是不是真的百度蜘蛛访问啊,不是的,我需不需要屏蔽这个ip和这个蜘蛛啊
答:您好,使用nslookup 127.0.0.1查询这个ip.未获取到任何关于百度的解析域名,应是模拟的百度蜘蛛抓取,建议可参照http://faq.myhost.net/faq/listagent.asp?unid=681
屏蔽此ip即可,非常感谢您长期对我司的支持!
问:需要屏蔽这个蜘蛛吗?
答:您好,这个是百度蜘蛛ua屏蔽会影响百度抓取,建议参考http://faq.myhost.net/faq/listagent.asp?unid=681 屏蔽对应的ip,这样不影响正常抓取,非常感谢您长期对我司的支持!
问:他们是怎么找上我们的网站的呀,我们能怎么防护,不让他们扫描我们网站呢
答:您好,对应的网站是公布在公网上的,网上的人员都可以浏览您的网站。请参考上面教程屏蔽对应的ip,这样对应的ip的用户就无法访问您的网站了,非常感谢您长期对我司的支持!