最新消息:欢迎加入小松的QQ群一起讨论一起学习,本站启用elasticsearch全文检索系统,提供搜索的精确度

从日志检查网站的错误

其他分享 224浏览 0评论

最近一直在观察百度抓取网站的日志,
主要通过命令

cat /log/www.phpsong.com.log|grep 07/Apr/2016|grep Baiduspider>test.log

通过命令修改日期把网站的日志查生成到一个文本中,然后把文本下载到本地检查
我发现
1)有人在模拟百度的蜘蛛爬我的网站,这个没有好的解决方法
2)百度抓取状态码304

123.125.71.17 - - [10/Apr/2016:11:49:51 +0800] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -

发现sitemap.xml有304的情况,刚开始的时候看错了这个状态,以为是403,拒绝访问,查了服务器,查了文件权限,最后发现看错了,坑啊。但是问题还是有的http 304状态是文件没有更新,然后发现是我的脚本被禁止了,到百度站长平台,发现已经有几天sitemap的提交的链接为0了

站长平台304

然后修复服务器上脚本的问题,然后在百度站长平台手动更新一下sitemap,状态码正常了

QQ交流群:136351212

如无特别说明,本站文章皆为原创,若要转载,务必请注明以下原文信息:
转载保留版权:小松博客» 从日志检查网站的错误
本文链接地址:https://www.phpsong.com/2324.html

fasd 发表我的评论   换个身份
取消评论
表情
木有头像就木有JJ!点这里按步骤申请Gravatar头像吧!