问：我网站最近连续多天百度蜘蛛突然不来抓取爬行，去百度站长工具查看抓取异常有服务器错误返回5XX、服务器拒绝访问返回403、页面不存在404和其他各类4XX错误。请帮忙排查处理。之前曾经设置过http301跳转https，不知道是不是这个操作中产生了什么意外？,服务器访问错误和拒绝
答：您好
问：首页是没有问题的。 我看过之前的网站日志，有问题的是众多内页和http跳转https导致的。
答：您好：
请在下站长平台模拟抓取试一下，并截图反馈到本工单，我司将根据反馈的信息分析处理，非常感谢您长期对我司的支持！
问：
答：您好：
问：
答：您好，我们查看了网站本身是正常的，我们查看您的https访问是有异常的，您网站内部加载好http，提示有风险，不确认是不是因为这个原因会影响抓取，请您先检查下网站内部加载，把调用http的图片地址都改成https，修改以后过一会再抓取试下,非常感谢您长期对我司的支持!
问：从您截图的信息看，是不是说把我内部的图片链接全部从http改为https就可能解决问题？
答：您好，不能确定是不是这个问题，但现在最起码您网站确实有这个问题，访问也不友好，您修改后过一会再去抓取诊断看看,非常感谢您长期对我司的支持!
问：我查看到自己内页https://www.jiadunfood.com/cat-products/ 中有一些是http的链接，例如http://www.jiadunfood.com/cat-rusuanjun/31047.html 打开后虽然能自动跳转为https，但是经过工具查询反馈是403（forbidden request）.会不会是因为上一个工单您帮我做过http跳转https规则有问题？ 我这边联络过网站程序商也帮我做过一次跳转，怕是重复冲突了吧？
答：您好，链接的状态是301的，并非403，您那个检测应该是说https://www.jiadunfood.com/cat-products/ 这个链接里面加载的http状态是403，https本身加载http就是会被认为不安全，所以才会让您将链接全部跳转为https。
另外关于百度抓取的问题，我们后续做了测试，发现是百度自己的问题，我们测试了一些我们员工自己的网站，发现也是提示抓取socket错误，包括服务器在其他公司的网站，也都有这个提示，所以抓取的问题应该是百度自身的问题，建议过一段时间再查看,非常感谢您长期对我司的支持!
问：感谢您的热心解答，我已经处理掉内部http。我观察网站日志，发现搜索引擎蜘蛛爬行的url居然是很多个重复域名组成的！会不会是301重定向发生了错误？如果跳转后的链接超长或者连续跳转的次数太多，就会发生重定向错误而导致蜘蛛抓取失败。
答：您好，301是正常的，本身如果是从http访问进来的，会通过301跳转到https
截图中出现多个url的情况，我司通过模拟搜索引擎访问并未查看到此情况，建议是再观察几天搜索引擎的抓取情况，非常感谢您长期对我司的支持!
