最新消息:欢迎加入小松的QQ群一起讨论一起学习,搜索页面修改成lua+ElasticSearch,使用php这个页面速度相对慢一点,优化之后速度杠杠的,如有问题请加群联系我

用file_get_contents抓取网页乱码的2种解决方式

PHP 867浏览 0评论

今天自己在写一个程序,抓取别人的网页,之前公司有些功能也会需要,但是今天在抓取网页的时候发现了一个问题
用file_get_contents抓取网页发现如截图所示的乱码情况

file_get_contents抓取网页乱码

于是用转换编码

$contents = iconv("gb2312", "utf-8//IGNORE",$contents);

之前遇到就算乱码也是网页编码的问题,html标签页不会有问题,问题还是没有解决
www.phpsong.com头部信息

于是网上找了一下
原因:说是获取的头部信息当中有Content-Encoding: gzip说明内容是GZIP压缩的
然后我试着抓取了自己的博客,发现可以正常抓取,头部信息中也带有Content-Encoding: gzip,为什么会这样就不清楚了,之后在解决

下面我推荐2种解决方法:

①、服务器安装zlib库

$contents = file_get_contents("compress.zlib://".$url);

②. 使用CURL代替file_get_contents

function curl_get($url, $gzip=false){
 $curl = curl_init($url);
 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
 curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 10);
 if($gzip) curl_setopt($curl, CURLOPT_ENCODING, "gzip"); // 关键在这里
 $content = curl_exec($curl);
 curl_close($curl);
 return $content;
}

自此问题解决了,继续下面的程序

QQ交流群:136351212

如无特别说明,本站文章皆为原创,若要转载,务必请注明以下原文信息:
转载保留版权:小松博客» 用file_get_contents抓取网页乱码的2种解决方式
本文链接地址:https://www.phpsong.com/1404.html

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
木有头像就木有JJ!点这里按步骤申请Gravatar头像吧!