最新消息:欢迎加入小松的QQ群一起讨论一起学习,本站启用小松自己写的redis缓存,文章发布修改自动删除缓存,现在速度杠杠的

标签:收录

robots禁止抓取百度还是收录了首页
其他分享

robots禁止抓取百度还是收录了首页

1年前 (2015-10-29) 824浏览 4评论

最近在做一个网站,因为域名要备案所以就没有直接放上去,而是放到一个二级域名上,test.XXXX.com,因为是测试的域名所以不希望百度收录robots.txt的文件内容为User-agent:*Disallow:/Disallow:/...