最新消息:欢迎加入小松的QQ群一起讨论一起学习,服务器快到期了,新买了台服务器,最近要做服务器迁移

屏蔽不需要的蜘蛛节省服务器资源

其他分享 452浏览 0评论

屏蔽蜘蛛

最近我一直在实时观察日志,发现了很多国外的蜘蛛在抓取我的网站,这些搜索引擎不会带来流量,而且浪费我的服务器的资源,于是决定屏蔽

屏蔽的蜘蛛

AhrefsBot
通过抓取网页建立索引库,并提供反向链接分析和服务
dotbot
在线营销分析软件
MJ12bot
英国搜索引擎
Deusu
个人的项目一个搜索引擎
grapeshot
这家公司好像也是分析网站用的

屏蔽方式

在robots.txt目录下添加下面的代码,添加之后在百度站长平台检测一下robots是否正确
User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DeuSu
Disallow: /
User-agent: grapeshot
Disallow: /

QQ交流群:136351212

如无特别说明,本站文章皆为原创,若要转载,务必请注明以下原文信息:
转载保留版权:小松博客» 屏蔽不需要的蜘蛛节省服务器资源
本文链接地址:https://www.phpsong.com/2272.html

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
木有头像就木有JJ!点这里按步骤申请Gravatar头像吧!