最新消息:欢迎加入小松的QQ群一起讨论一起学习,搜索页面修改成lua+ElasticSearch,使用php这个页面速度相对慢一点,优化之后速度杠杠的,如有问题请加群联系我

从日志检查网站的错误

其他分享 309浏览 0评论

最近一直在观察百度抓取网站的日志,
主要通过命令

cat /log/www.phpsong.com.log|grep 07/Apr/2016|grep Baiduspider>test.log

通过命令修改日期把网站的日志查生成到一个文本中,然后把文本下载到本地检查
我发现
1)有人在模拟百度的蜘蛛爬我的网站,这个没有好的解决方法
2)百度抓取状态码304

123.125.71.17 - - [10/Apr/2016:11:49:51 +0800] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -

发现sitemap.xml有304的情况,刚开始的时候看错了这个状态,以为是403,拒绝访问,查了服务器,查了文件权限,最后发现看错了,坑啊。但是问题还是有的http 304状态是文件没有更新,然后发现是我的脚本被禁止了,到百度站长平台,发现已经有几天sitemap的提交的链接为0了

站长平台304

然后修复服务器上脚本的问题,然后在百度站长平台手动更新一下sitemap,状态码正常了

QQ交流群:136351212(满) 455721967

如无特别说明,本站文章皆为原创,若要转载,务必请注明以下原文信息:
转载保留版权:小松博客» 从日志检查网站的错误
本文链接地址:https://www.phpsong.com/2324.html

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
木有头像就木有JJ!点这里按步骤申请Gravatar头像吧!