UserAgent设置不当导致php抓取网页失败

黄三岁大爱人生 2017-12-20

展开全文

php抓取网页，可谓轻而易举，几行代码就可以搞定。不过，如果你有所疏忽，程序写得不够严密，就会出现有的网页抓取成功有的网页却抓不了的问题。

先来看看php抓取代码的一个方法：

<?php
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, ‘http://www./’);
$data = curl_exec($curl);
?>

代码中$data就是要抓取的网页html代码了。

但是如果使用这个程序去抓取网页文件，无疑是十分脆弱的。这可能对抓取大多数网页没有什么问题，但是某些网页，你会抓不到目标文件，取而代之的抓到意想不到的网页代码。这是什么原因呢？

其实，curl_setopt()的可选参数有的是十分重要的，在抓取网页这部分，有一个参数我们必须要考虑进去，那就是UserAgent。什么是UserAgent？UserAgent简称（UA），是一个只读的字符串，它声明了浏览器用于 HTTP 请求的用户代理头的值。简单来说，就是“声明用什么浏览器来打开目标网页”。

说到这里，可能有的人会意识到不同的UserAgent会得到不同的网页请求了，例如手机浏览器和PC浏览器，就会得到不同的网页文件。举个例子，假如PC浏览器和手机浏览器，打开www.，就会得到不同的结果页，这其实就是UserAgent的不同的结果。居于这个原因，卡卡测速网网站速度测试的程序就使用了用户自定义UA的网页抓取程序。

好了，说到这里，我想大家都明白上述代码应该怎样修改了吧。

正确的写法应该是这样的：

<?php
$UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)'
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, ‘http://www./’);
curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);
$data = curl_exec($curl);
?>

上述代码声明使用IE浏览器打开网页。

当然，你也可以声明用Firefox的UserAgent打开网页，代码如下：

$UserAgent = 'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1';

你还可以声明用其他UserAgent打开网页。下面是IE8的UserAgent：

IE8 on Windows Vista (兼容浏览)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/4.0)
IE8 on Windows Vista
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
IE8 on Windows 7
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)
64-bit IE on 64-bit Windows 7:
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)
32-bit IE on 64-bit Windows 7:
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0)

Firefox的UserAgent：

Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1
Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3
Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12

Chrome的UserAgent：

Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13

Navigator的userAgent：

Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6

Safari的userAgent：

Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1 Safari/525.13
Mozilla/5.0 (iPhone; U; CPU like Mac OS X) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/4A93 Safari/419.3

Opera的userAgent：