最新消息:欢迎加入小松的QQ群一起讨论一起学习,服务器快到期了,新买了台服务器,最近要做服务器迁移

微博同步错误追溯根源

Nginx 250浏览 0评论

根据上一篇文章的分析
1)微博把我的图片网址进黑名单
2)我把微博的抓取屏蔽了,之前一段时间一直在屏蔽没有用的蜘蛛
第一种情况,我没有办法查,但是第二种情况还是可以查的
执行命令

cat /home/wwwlogs/www.phpsong.com.log|grep 09/May/2016|grep 2016050902174369229

把当天访问日志中访问这张图片的访问日志拉出来
发现日志最后

120.52.18.55 - - [09/May/2016:14:32:25 +0800] "GET /wp-content/uploads/2016/05/2016050902174369229.png HTTP/1.0" 403 162 "-" "SinaWeiboBot" 123.125.106.81

nginx访问日志SinaWeiboBot 403

问题已经很明显了,是我的服务器禁止了SinaWeiboBot的访问

我用命令

curl -A "SinaWeiboBot" https://static.phpsong.com/wp-content/uploads/2015/11/2015112406281749724.png

去测试发现,也是403的错误
检查agent_deny.conf发现,禁止$http_user_agent判断里有两个SeznamBot
在用上面的curl命令测试,发现没有问题了,问题彻底解决了

PS:agent_deny.conf文件是我用来$http_user_agent来屏蔽老外的蜘蛛用的

QQ交流群:136351212

如无特别说明,本站文章皆为原创,若要转载,务必请注明以下原文信息:
转载保留版权:小松博客» 微博同步错误追溯根源
本文链接地址:https://www.phpsong.com/2434.html

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
木有头像就木有JJ!点这里按步骤申请Gravatar头像吧!