问：www.hsy188.com/xinwen/1109.html 02:00:57www.hsy188.com/m/xinwen/967.html 01:55:44www.hsy188.com/caipin/802.html 01:51:17www.hsy188.com/m/html/maocaijiamengwenda/.html 01:47:33www.hsy188.com/m/news/1126.html 01:40:52www.hsy188.com/m/xinwen/956.html 01:36:23www.hsy188.com/html/maocaipeifang/ 01:28:57www.hsy188.com/caipin/882.html 01:23:00www.hsy188.com/xinwen/910.html 01:17:02
能再帮我看看吗。百度抓取的错误链接，在网站日志中对应不上。,接上个问题“出现服务器错误”
答：您好，
2018/07/03 02:00:57 [error] 7536#35632: * WSARecv() failed (10054: An existing connection was forcibly closed by the remote host) while reading response header from upstream, client: 127.0.0.1, server: localhost, request: "GET /xinwen/1109.html HTTP/1.1", upstream: "http://127.0.0.1:80/xinwen/1109.html", host: "www.hsy188.com"
从nginx错误日中中找到问题所在了,您在web.config中屏蔽了百度蜘蛛的部分ip地址导致这部分蜘蛛抓取时502了,这个时间点和您提供的时间点是对应的,请去掉web.config中屏蔽ip的规则,非常感谢您长期对我司的支持!
问：非常感谢，
<add input="%{HTTP_X_FORWARDED_FOR}&%{REMOTE_ADDR}&%{HTTP_X_Real_IP}" pattern="(220.181.108|111.206.198|113.83.192|127.0.0.1|111.206.222|111.206.198|116.24.64|127.0.0.1)" />
这个是我web.config中屏蔽的ip，这里面的ip有百度蜘蛛的吗？还有就是错误日志是在哪儿看的呢？
问：您好，日志保存在服务器上,是web服务所有用户的错误记录,无法单独提供,上一条工单给您截取了日志,其中有显示ip地址,而恰好对应您百度抓取时间以及具体url连接,所以这个ip就是百度的ip,请全部去掉您所拦截的ip,非常感谢您长期对我司的支持!
问：谢谢，220.181.108 这个ip确实是我屏蔽的，这个之前确实疑似百度蜘蛛，因为影响到客服软件了。能不能帮我看看这个错误日志尼里面，这个ip的有多少呢？
问：您好，,如果要确定哪些ip是蜘蛛的,您先取消屏蔽ip,然后观察几天www日志,搜索baiduspier 行,看对应的ip地址即可,网上有百度蜘蛛的ip段http://www.yushuoseo.com/seopeixun/59.html 但我们无法确认是否全面,非常感谢您长期对我司的支持!
