标签：蜘蛛访问

虚拟主机如何阻止蜘蛛访问？虚拟主机组织蜘蛛访问，可以使用robots协议来实现。robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件

编辑君2019-08-01虚拟主机知识 阅读(1242)赞(0)