问:国内主机供解析二级域名被收录怎么办?如何防止?
答:您好:
可以通过伪静态规则实现屏蔽
用以下方式让百度既不抓取二级域名,又能直接访问二级域名
2003/linux系统
RewriteCond %{HTTP:Host} test.gotoip1.com
RewriteCond %{HTTP_USER_AGENT} (baiduspider|googlebot) [NC]
RewriteRule ^(.*)$ – [F]
2008系统web.config
<rule name="Block spider" stopProcessing="true">
<match url="(.*)" ignoreCase="false" negate="false" />
<conditions>
<add input="{HTTP_HOST}" pattern="^test.gotoip1.com$" />
<add input="{HTTP_USER_AGENT}" pattern="baiduspider|googlebot" />
</conditions>
<action type="AbortRequest" />
</rule>
非常感谢您长期对我司的支持!
问:额。用robots协议可以屏蔽吗
答:您好:
robots实现不了,非常感谢您长期对我司的支持!