问：部署了SSL，做了301转向，导致百度抓取失败应该怎么解决？,部署了SSL，做了301转向，导致百度抓取失败应该怎么解决？
答：您好，
该www.panseen.com 域名应该是刚刚做了https协议不久，所以在百度里面尝试抓取诊断的时候抓取IP还是抓取到的原来服务器的IP地址。
设置部署了SSL证书以后，域名解析到的IP地址会变但是百度蜘蛛那边有缓存（缓存时间一般是7-10天左右）。
建议您晚几天再测试抓取，看看是否正常。
同时我们也帮您提交了报错，需要等待百度蜘蛛那边解析更新。
非常感谢您对我司的支持，谢谢！
问：关于缓存的事件我再等，另外我的百度站长验证突然失效，是否你们重新提交了验证文件到网站了？
问：您好，是的，之前我司提交了验证文件测试，请您自行重新验证下，非常感谢您长期对我司的支持!
问：http://www.huaweixinxi.com/robots.txt
[轻微]发现robots.txt文件
对非蜘蛛抓取 robots.txt 行为一律返回403，其表达的意思是：robots.txt 只针对搜索蜘蛛开放。要想实现这种效果并不难，只要在 Nginx 配置中加入如下代码即可：
加入以下参数到nginx配置中
#如果请求的是robots.txt，并且匹配到了蜘蛛，则返回403location = /robots.txt { if ($http_user_agent !~* \”spider|bot|Python-urllib|pycurl\”) { return 403; }}
访问robots.txt即可进入403状态
但是不知道虚拟主机在哪里配置
问：您好，已经为您调整了，非 蜘蛛访问 为 403 状态 ，具体请参考 www下的 web.config 文件
,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!
问：并没有什么用处啊还是这个两个问题，一个还是robots.txt,
X-Frame-Options头未设置
还有一个是修改web服务器配置，添加X-frame-options响应头。赋值有如下三种：（1）DENY：不能被嵌入到任何iframe或frame中。（2）SAMEORIGIN：页面只能被本站页面嵌入到iframe或者frame中。（3）ALLOW-FROM uri：只能被嵌入到指定域名的框架中。也可在代码中加入，在PHP中加入：header(\’X-Frame-Options: deny\’);
问：您好，已经为您加入了规则，请至web.config 文件在进一步核实 ,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!
问：还是robots.txt问题，哎~~~
问：您好，我司核实到您的规则中存在其他代码，若在调整 ，请您将下端代码加入调整后即可 ,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!
<rule name=\”Block spider\” stopProcessing=\”true\”>
<match url=\”(^robots.txt)\” ignoreCase=\”false\” negate=\”false\” />
<conditions>
<add input=\”{HTTP_USER_AGENT}\” pattern=\”baiduspider|googlebot\” negate=\”true\”/>
</conditions>
<action type=\”CustomResponse\” statusCode=\”403\” statusReason=\”Forbidden\” statusDescription=\”Forbidden\” />
</rule>
