Python——网络爬虫

这一节介绍webbrowser模块浏览网页

import webbrowser

python提供webbrowser模块，可以调用这个模块的open（）方法打开指定网页！

下载网页信息使用requests模块

requests模块属于第三方模块，因此需要安装此模块才可以使用：

pip install requests

requests.get（）方法内需放置欲下载网页信息的网址当参数，这个方法可以传回网页的HTML源文件。

由上述可知requests.get（）方法传回的数据类型是Response对象！！！！！那什么是Response对象呢？？

Response对象

Response对象有几个重要属性：

status_code：如果值是requests.codes.ok，表示获得的网页内容成功。

text：网页内容。

下载网页失败的异常处理

有些网页由反爬虫机制，会造成网页下载失败。使用抛出异常可以处理类似问题。Response对象有raise_for_status()方法，可以针对网址正确但是后续文件名错误的状况产生异常处理。也可以预防错误网址！！！