问：关于网络蜘蛛抓取网页，消耗流量太大，
虚拟主机：nbweb8，网址：www.dtmts.cn,dtmts.cn查看了一下，访问log，有很多百度蜘蛛，但是注册了百度熊掌添加网站后，却显示“暂时没有抓取频次数据”，无法更改抓取频次，请问怎么办？,关于网络蜘蛛抓取网页，消耗流量
答：您好，
熊掌号和抓取频次并无关联,如要对抓取做相关设置请通过ziyuan.baidu.com站长平台进行设置,非常感谢您长期对我司的支持!
问：就是ziyuan.baidu.com平台
显示无抓取信息，但实际访问记录有很多百度蜘蛛。请看图。太消耗流量了，怎么办
答：您好，从日志上看,并不是百度蜘蛛,而是baiduboxapp手百UA https://ziyuan.baidu.com/wiki/963 如果您不需要,请参看https://www.west.cn/faq/list.asp?unid=662 教程屏蔽这个ua,非常感谢您长期对我司的支持!
问：在虚拟主机根目录添加httpd.conf文件规则？
答：您好，您的主机是iis7的,参照web.config设置方式,非常感谢您长期对我司的支持!
问：web.config怎么屏蔽百度UA，怎么编写？
答：您好，给您发的教程里面有的:
<?xml version=\”1.0\” encoding=\”UTF-8\”?><configuration> <system.webServer> <rewrite> <rules><rule name=\”Block spider\”>
<match url=\”(^robots.txt$)\” ignoreCase=\”false\” negate=\”true\” />
<conditions>
<add input=\”{HTTP_USER_AGENT}\” pattern=\”baiduboxapp\” ignoreCase=\”true\” />
</conditions>
<action type=\”AbortRequest\” />
</rule> </rules> </rewrite> </system.webServer></configuration>,非常感谢您长期对我司的支持!
问：从www日志weblog来看，9月17日有1000多条Baiduspider，那么消耗流量很大的是Baiduspider还是百度UA?
答：您好，消耗流量多的是baiduboxapp 手机百度的UA，不是Baiduspider，非常感谢您长期对我司的支持！
