
问:
这是服务器的问题吗?有什么办法改善,百度站长后台出现很多504抓取异常
答:您好,麻烦提供一下抓取报错的详细页面截图,以及抓取报错的URL地址,以便这边核实
,非常感谢您长期对我司的支持!
问:www.keji188.com/gzqh/3787.html 19:05:30www.keji188.com/spqh/3457.html 16:10:52www.keji188.com/spqh/1396.html 13:28:11www.keji188.com/ 09:13:12www.keji188.com/sd/113.html 08:38:33www.keji188.com/qzyb/1409.html 08:35:13www.keji188.com/gzqh/1428.html 06:42:12www.keji188.com/sd/1365.html 04:34:35只有这些链接,没有什么详细页面截图,页面打开是可以打开的
答:您好,您站点有加入百度站长,请在zhanzhang.baidu.com 上使用抓取诊断对上述网址进行抓取诊断测试
不管抓取成功还是失败,都可以看到 这里截图给我司为您进一步核实,谢谢
问:
答:您好,从您当前提供的抓取测试截图看,您服务器上站点应该是使用nginx apache模式部署的站点,从 504报错分析,nginx得到https的请求后,调取apache上的站点出现异常才会出现504报错,您当前抓取都是成功并且正确的,当前只有再观察,谢谢
并且建议您将这个站点的日志开启,这样再次异常时候,可以用过分析日志中的百度抓取爬虫核实具体抓取失败报错原因,谢谢
问:当前是开启的吧?那天的日志我有,但是网站日志里我没看到这些访问
答:您好,网站日志请搜索 Baiduspider ,如果有这个访问日志记录,则说明是没有异常的,谢谢
问:我想问一下,nginx apache混合模式是不是会导致访问时间变长,之前是为了部署SSL证书改成nginx apache混合模式,现在如果改回apache模式SSl会不会失效?
答:您好,
1.改回apache模式会失效的,需要重新调整apache的站点配置文件来配置SSL证书2.nginx apache的这种模式不会导致访问时间变长的,本身nginx只是做一个转发处理,将80请求转发到88apache上,建议是出现504时根据nginx的日志排查一下具体原因,非常感谢您长期对我司的支持!
问:keji188.com_access.log.gz和
keji188.com_access_log.gz这两个日志到底有什么 别,简单点说,就是假如我访问网站,我的访问记录会出现在哪个上面,还是两个都有,但是我看过两个日志,里面内容差别很大,如果我要看百度蜘蛛,又要看哪个为准
答:您好,
/home/web_logs/keji188.com_access_log日志在这个目录下,一般查看keji188.com_access_log 是实时的日志您说的那两个日志是wdcp针对日志的切割,将之前时间的日志打包保存的您可以查看keji188.com_access_log日志是否有蜘蛛访问记录,非常感谢您长期对我司的支持!
问:
不是,我知道那两个日志是wdcp针对日志的切割,但是每天会生成两个,后台每天都会生成两个打包文件实时的日志也是有两个的你可以去我后台那里看一下,一个是keji188.com_access.log,一个是keji188.com_access_log
问:
刚刚诊断的
答:您好,
1.日志问题,一个是apache的日志,一个是nginx的日志,所以有两个,您查看apache的日志即可2.同时服务器上nginx版本是1.0.12,您截图中显示的nginx版本是1.8.1,怀疑是蜘蛛那边没有更新,服务器nginx日志中也并没有记录访问504超时的记录,您点击一下报错后再关注一下,非常感谢您长期对我司的支持!
问:
报错后没再出现504错误,但是出现了这种新情况
答:您好,从您截图看百度那边蜘蛛服务器访问香港慢的原因导致,时长超过一分钟,所以抓取内容可能不完整,建议换时间再测试,并观察百度抓取记录看下,非常感谢您长期对我司的支持!
问:你好,麻烦帮我看一下我新添加的几个禁止访问的IP现在这样子是不是已经生效了
答:您好,您是指iptables吗?这样是正确的,非常感谢您长期对我司的支持!