IDC知识库
IDC领域专业知识百科平台
首页 > 虚拟主机知识

虚拟主机知识虚拟主机如何阻止蜘蛛访问

容器云强势上线 上万Linux镜像供自由选择!

虚拟主机如何阻止蜘蛛访问?虚拟主机组织蜘蛛访问,可以使用robots协议来实现。robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

我们在管理虚拟主机时,有些情况下,不希望搜索引擎蜘蛛来访问我们的内容,这时,我们需要编写一个爬虫协议,禁止搜索引擎来抓取数据。或者是禁止部分搜索引擎爬虫来访,而允许其他搜索引擎。都是可以通过robots文件实现。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

虚拟主机阻止蜘蛛访问,比如禁止全部搜索引擎来访时,可以如下编写:

User-agent: *
Disallow: /

虚拟主机阻止某个蜘蛛访问时,可以如下编写:

User-agent: xxxspider
Disallow:/

虚拟主机阻止某个目录被蜘蛛访问时,可以如下编写:

User-agent: *

Disallow: /admin/

即表示/admin/目录,所有搜索引擎都不得来访问。

以上是关于虚拟主机如何阻止蜘蛛访问的介绍,如需购买虚拟主机,推荐西部数码,共享虚拟主机、独享虚拟主机齐备,各类配置均有,满足不同网站建设需求,价格实惠,售后尤其出色。

购买入口:https://www.west.cn/services/webhosting/

独享入口:https://www.west.cn/services/webhosting/dxhosting.asp

声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:hyg@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 虚拟主机如何阻止蜘蛛访问
  • 日销500+
    基础型云服务器

    2核CPU

    2G内存

    50G硬盘

    2M带宽

    独立IP

    分布式存储

    适合企业官网、个人站长类网站

    ¥106 原价¥116

  • 日销500+
    超值型云服务器

    2核CPU

    4G内存

    50G硬盘

    2M带宽

    独立IP

    分布式存储

    适合企业官网、行业门户类网站

    ¥156 原价¥171

  • 日销500+
    通用型云服务器

    4核CPU

    4G内存

    50G硬盘

    2M带宽

    独立IP

    分布式存储

    适合电商、论坛类网站

    ¥203 原价¥223

分享到:更多 ()
    • 企业邮箱 全新登场
    • 虚拟主机
    • 云服务器

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址

    中国领先的互联网域名及云服务提供商

    为您提供专业域名知识,域名交易知识,云服务器知识,虚拟主机知识讲解

    域名注册云服务器