如何禁止这个“搜索引擎”的爬行

问：Unknown robot (identified by 'spider')这个机器人每天爬行，消耗网站不少流量，发现它的IP是127.0.0.1，于是在web.config文件里加入了如下代码

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

    <system.webServer>

        <rewrite>

            <rules>

                <rule name="band ip" stopProcessing="true">

                    <match url="(.*)" />

                    <conditions logicalGrouping="MatchAny">

                        <add input="%{HTTP_X_FORWARDED_FOR}&amp;%{REMOTE_ADDR}&amp;%{HTTP_X_Real_IP}" pattern="(127.0.0.1)" />

                    </conditions>

                    <action type="AbortRequest" />

                </rule>

            </rules>

        </rewrite>

    </system.webServer>  

</configuration>

可还是没用。请问有什么别的办法能屏蔽这个IP？
,如何禁止这个“搜索引擎”的爬行

答：您好，我司查看分析了一天的日志，核实日志中访问大的蜘蛛是的是百度蜘蛛和sougou蜘蛛，当前主机每月流量15G 当前只消耗了4.2G  目前建议不用做任何处理屏蔽继续观察即可,非常感谢您长期对我司的支持!

问：网站空间不稳定，被搜索引擎提示,希望进行调整，保证空间稳定性，让搜索引擎不在出现这样的提示

答：您好，

已经为您调整了节点请再观察一下，查看您使用的港台主机优势是不用备案，但容易受到国际网络出口波动影响，建议您考虑将域名备案后升级到国内主机试用，稳定性和速度会有所提升。

,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!