用Python Requests库轻松实现网络爬虫，学会抓取数据！

流形sbz 2023-11-04 发布于甘肃

展开全文

Python是一门强大的编程语言，广泛用于网络数据采集和爬虫应用。在这个信息时代，互联网上蕴含着海量的数据，而Requests库作为Python爬虫中的重要工具，为我们提供了与Web服务器通信的便捷途径。

这篇文章将介绍Requests库，包括其基本用法、高级功能以及示例代码。

一、认识Requests

1.1 什么是Requests？

Requests是一个Python库，用于发起HTTP请求。它是在Python社区中广泛使用的库之一，因其简单的API和强大的功能而备受欢迎。

通过Requests，可以轻松地与Web服务器进行通信，发送HTTP请求并处理响应。

1.2 安装Requests

使用pip来安装Requests库：

pip install requests

1.3 导入Requests

导入requests模块：

import requests

二、基本用法

2.1 发送GET请求

发送GET请求是获取网页内容的最基本方式。

示例代码：

import requests# 发送GET请求response = requests.get('https://www.')# 获取响应内容content = response.text# 打印响应内容print(content)

在这个示例中，使用get方法向'https://www.'发送了一个GET请求，并通过response.text获取了响应内容。

2.2 发送POST请求

向Web服务器提交数据，使用POST请求。

示例代码：

import requests# 准备要提交的数据data = {'key1': 'value1', 'key2': 'value2'}# 发送POST请求response = requests.post('https://www./post', data=data)# 获取响应内容content = response.text# 打印响应内容print(content)

2.3 设置请求头

有些网站要求设置特定的请求头才能访问，可以使用headers参数来设置请求头。

示例代码：

import requests# 设置请求头headers = {'User-Agent': 'My Custom User Agent'}# 发送带有自定义请求头的GET请求response = requests.get('https://www.', headers=headers)# 获取响应内容content = response.text# 打印响应内容print(content)

2.4 处理响应

Requests库的响应对象提供了各种方法来处理响应内容、状态码等信息。

示例代码：

import requests# 发送GET请求response = requests.get('https://www.')# 获取响应内容content = response.text# 获取响应状态码status_code = response.status_code# 判断请求是否成功if response.status_code == 200:    print('请求成功')else:    print('请求失败')# 获取响应头信息headers = response.headers# 获取响应的URLurl = response.url# 获取响应的编码encoding = response.encoding# 获取响应的字节内容content_bytes = response.content

三、高级功能

3.1 处理JSON数据

Requests库可以方便地处理JSON格式的数据。如果服务器返回的响应是JSON格式，可以使用json()方法来解析它。

import requests# 发送GET请求，获取JSON数据response = requests.get('https://jsonplaceholder./posts/1')# 解析JSON响应data = response.json()# 打印JSON数据print(data)

3.2 处理响应头

使用响应对象的headers属性来访问响应头信息。

示例代码：

import requests# 发送GET请求response = requests.get('https://www.')# 获取响应头信息headers = response.headers# 打印响应头for key, value in headers.items():    print(f'{key}: {value}')

3.3 处理异常

在实际应用中，网络请求可能会出现各种异常情况。Requests库允许捕获这些异常并进行适当的处理。

import requeststry:    # 发送GET请求    response = requests.get('https://www.')    # 如果请求成功    if response.status_code == 200:        print('请求成功')    else:        print(f'请求失败，状态码：{response.status_code}')except requests.exceptions.RequestException as e:    print(f'请求异常：{e}')

四、完整代码示例

以下是一个完整的示例，演示了如何使用Requests库发送HTTP请求、处理响应和异常：

import requeststry:    # 设置请求头    headers = {'User-Agent': 'My Custom User Agent'}    # 发送GET请求    response = requests.get('https://www.', headers=headers)    # 如果请求成功    if response.status_code == 200:        print('请求成功')        # 获取响应内容        content = response.text        # 打印响应内容        print(content)    else:        print(f'请求失败，状态码：{response.status_code}')except requests.exceptions.RequestException as e:    print(f'请求异常：{e}')