生成sitemap网站抓取失败

问:生成sitemap网站抓取链接在50个之后都会失败,很多西部数码主机的网站都会这样,用百度和阿里主机的网站抓取都没有问题,生成工具试了很多都这样,检查看什么原因
,生成sitemap网站抓取失败

答:您好,我司设置了cc防护,限制了单个ip10s请求超过50次,正常访问是不会达到这个频率的。请调整您的抓取软件的频率,限制到抓取频率在10s 50以下,抓取生成再试,非常感谢您长期对我司的支持!

问:能不能取消限制,这个会不会影响百度抓取网站收录

答:您好,无法取消,对应的设置不会影响百度抓取,百度抓取是不会达到这个频率,这个频率属于非正常访问,您生成sitemap的时候请注意限制抓取频率即可,非常感谢您长期对我司的支持!

问:生成sitemap根本没有办法限制频率,怎么处理

答:您好,当前虚拟主机都是相关限制,建议您升级使用云服务器,云服务器环境可以自行设置,这样生成没有限制,非常感谢您长期对我司的支持!

问:其他服务商的虚拟主机就完全没有这个限制,都是能生成地图的,这个完全不合理

答:您好,当前可以特殊为您处理一下,您将需要进行生成sitemap的网站域名回复到工单中,我司为您添加白名单您抓取再试,同时设置后对应的cc防护就没有效果了,非常感谢您长期对我司的支持!

问:难道以后做一个网站还要提交一次工单?算了,没意义

答:您好,非常抱歉,默认虚拟主机均开启CC防护,在高频访问的情况下会触发攻击防护,建议您控制抓取频率,蜘蛛访问会直接通过验证,所以不受影响,非常感谢您长期对我司的支持!

问: 127.0.0.1:22000这个服务器网站比较慢,我看监控信息,网络带宽,cpu等都占用比较高,麻烦看下原因

答:您好,我们查看cpu占用并不高,服务器负载也不高,是带宽高,根据进程来看是网站访问占用的,首页加载的内容比较多,带宽不够,建议将带宽升级到10M再观察下,非常感谢您长期对我司的支持!

问:您好,现在看降下来了,请问用什么命令可以查看?具体怎么查看

答:您好,vnstat -l -i eth0 查看实时流量,iftop可以查看当前连接流量,nethogs可以查看进程流量,非常感谢您长期对我司的支持!

问:请问一下,会不会被攻击了什么的,比如恶意用程序访问网站首页什么的?因为我看之前都很低,今天中午突然变高了,不知道具体什么原因

答:您好,我们之前登陆查看负载是很低的, 如果有攻击一般负载都会偏高,并且日志里面会有记录。您网站首页加载的内容偏多,如果同时有几个人访问就能把带宽占满,并不需要攻击就可以造成网站访问卡顿。最好检查优化下网站的结构,资源图片可以尽可能压缩减少,或者直接升级带宽,非常感谢您长期对我司的支持!

更多关于云服务器,域名注册,虚拟主机的问题,请访问西部数码官网:www.west.cn
赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 生成sitemap网站抓取失败

登录

找回密码

注册