最新消息:欢迎加入小松的QQ群一起讨论一起学习,搜索页面修改成lua+ElasticSearch,使用php这个页面速度相对慢一点,优化之后速度杠杠的,如有问题请加群联系我

标签:robots

屏蔽不需要的蜘蛛节省服务器资源
其他分享

屏蔽不需要的蜘蛛节省服务器资源

2016-03-28 04:00:04 467浏览 2评论

最近我一直在实时观察日志,发现了很多国外的蜘蛛在抓取我的网站,这些搜索引擎不会带来流量,而且浪费我的服务器的资源,于是决定屏蔽屏蔽的蜘蛛AhrefsBot通过抓取网页建立索引库,并提供反向链接分析和服务dotbot在线营销分析软件MJ1...

robots禁止抓取百度还是收录了首页
其他分享

robots禁止抓取百度还是收录了首页

2015-10-29 01:28:00 957浏览 4评论

最近在做一个网站,因为域名要备案所以就没有直接放上去,而是放到一个二级域名上,test.XXXX.com,因为是测试的域名所以不希望百度收录robots.txt的文件内容为User-agent:*Disallow:/Disallow:/...