 第一步：下载HTML页面 基本下载网页的能力包括针对 URL 进行 HTTP GET 请求。这是任何 web 浏览器的基本操作。让我们快速回顾一下此操作的不同部分，因为它有三个不同的元素： 使用 HTTP 协议。这涉及请求的结构方式。 使用 GET 方法，这是最常见的 HTTP 方法。我们将在访问 web API 的示例中进一步了解它。 完整的 URL 描述了页面的地址，包括服务器（例如：mypage.com）和路径（例如：/page）。 该请求将通过互联网路由到服务器，并由服务器进行处理，然后将返回响应。该响应将包含状态代码，通常是 200，如果一切正常，以及结果的正文，这通常是带有 HTML 页面的文本。 大部分请求自动处理了 HTTP 客户端。在这个示例中，我们将看到如何简单请求以获取 web 页面。 HTTP 请求和响应也可以包含头部信息。头部信息包含了关于请求本身的重要信息，例如请求的总大小，内容的格式，请求的日期以及使用的浏览器或服务器等。 准备工作 使用出色的 requests 模块，获取网页非常简单。安装模块： $ echo "requests==2.23.0" >> requirements.txt $ source .venv/bin/activate (.venv) $ pip install -r requirements.txt 我们将下载位于 操作步骤： 导入requests模块： import requests 使用以下URL向服务器发出请求，需要一两秒钟的时间： url = 'http://www./~fdc/sample.html' response = requests.get(url) 检查返回对象的状态码： response.status_code 200 检查结果的内容： response.text '<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> n<html>\n<head>\n ... 完整的HTML代码 ... <!-- close the <html> begun above -->\n' 检查正在进行和返回的标头： response.request.headers {'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'} response.headers {'Date': 'Fri, 24 Jan 2020 19:04:12 GMT', 'Server': 'Apache', 'Last-Modified': 'Wed, 11 Dec 2019 12:46:44 GMT', 'Accept-Ranges': 'bytes', 'Vary': 'Accept-Encoding,User-Agent', 'Content-Encoding': 'gzip', 'Content-Length': '10127', 'Keep-Alive': 'timeout=15, max=100', 'Connection': 'Keep-Alive', 'Content-Type': 'text/ html', 'Set-Cookie': 'BIGipServerCUITwww.-80- pool=1311259520.20480.0000; expires=Sat, 25-Jan-2020 01:04:12 GMT; path=/; Httponly'} 它是如何工作的... requests 的操作非常简单；在此情况下，使用 GET 方法在 URL 上执行请求。这将返回一个结果对象，可以进行分析。主要元素是状态代码和正文内容，可以表示为文本。 完整的请求可以在请求属性中检查： response.request <PreparedRequest [GET]> response.request.url http://www./~fdc/sample.html' 完整的 requests 模块文档可以在这里找到： 在本章的过程中，我们将展示更多 requests 库的特点。 还有更多... 所有 HTTP 状态代码可以在此网页中查看：https:///。它们也在 http.HTTPStatus 枚举中描述，具有方便的常量名称，如 OK、NOT_FOUND 或 FORBIDDEN。 状态代码的一般结构是： 1XX - 关于协议的具体信息。 2XX - 成功。 3XX - 重定向。例如：URL 不再有效，并且可在其他地方找到。新的 URL 应该被包含在内。 4XX - 客户端错误。在向服务器发送信息时存在一些错误（例如，格式错误），或者客户端存在错误（例如，需要身份验证才能访问 URL）。 最著名的错误状态代码可能是 404，当描述 URL 的资源未找到时返回该代码。尝试通过执行 requests.get( 5XX - 服务器错误。服务器端存在错误；例如，服务器可能不可用，或者处理请求时可能存在错误。 请求可以使用 HTTPS（安全 HTTP）协议。它与 HTTP 相同，但确保请求和响应的内容是私有的。requests 会自动处理它。 任何处理任何私人信息的网站都应该使用HTTPS来确保信息没有泄漏。HTTP容易被窃听。请在有可能的情况下使用HTTPS。 第二步：解析HTML 下载原始文本或二进制文件是一个好的起点，但是网络的主要语言是HTML。 HTML是一种结构化语言，定义了文档的不同部分，例如标题和段落。HTML也是分层的，定义了子元素。将原始文本解析为结构化文档的能力基本上是从网页自动提取信息的能力。例如，如果将某些文本放入特定的HTML元素中，例如class div或heading h3标记之后，则可能是相关的文本。 准备就绪 我们将使用优秀的Beautiful Soup模块将HTML文本解析为可以分析的内存对象。我们需要使用最新版本的beautifulsoup4包与Python 3兼容。将该包添加到您的requirements.txt文件中，并在虚拟环境中安装依赖项： $ echo "beautifulsoup4==4.8.2" >> requirements.txt $ pip install -r requirements.txt 如何完成它... 导入 BeautifulSoup 和 requests 模块: import requests from bs4 import BeautifulSoup 设置要下载和获取的页面的 URL: URL = 'http://www./~fdc/sample.html' response = requests.get(URL) response <Response [200]> 解析已下载的页面: page = BeautifulSoup(response.text, 'html.parser') 获取页面标题。查看它是否与浏览器中显示的相同: page.title <title>Sample Web Page</title> >>> page.title.string 'Sample Web Page' 5. 找到页面中的所有 h3 元素，以确定现有部分: >>> page.find_all('h3') [<h3><a name="contents">CONTENTS</a></h3>, <h3><a name="basics">1. Creating a Web Page</a></h3>, <h3><a name="syntax">2. HTML Syntax</a></h3>, <h3><a name="chars">3. Special Characters</a></ h3>, <h3><a name="convert">4. Converting Plain Text to HTML</ a></h3>, <h3><a name="effects">5. Effects</a></h3>, <h3><a name="lists">6. Lists</a></h3>, <h3><a name="links">7. Links</ a></h3>, <h3><a name="tables">8. Tables</a></h3>, <h3><a name="install">9. Installing Your Web Page on the Internet</a></ h3>, <h3><a name="more">10. Where to go from here</a></h3>] 6. 提取特殊字符部分的文本。当遇到下一个 <h3> 标签时停止: >>> link_section = page.find('h3', attrs={'id': 'chars'}) >>> section = [] for element in link_section.next_elements: ... if element.name == 'h3': ... break ... section.append(element.string or '') ... result = ''.join(section) result '3. Special Characters\n\nHTML特殊“字符实体”以和号(&&)开头并以分号(;;)结束，例如"€€" = "€"。永远流行的“不换行空格”是 。有用于重音拉丁字母和其他西欧特殊字符的特殊实体名称，例如：\n\n\n\n\n\nää\na-umlaut\n\xa0ä\xa0\n\n\nÄÄ\nA-umlaut\n\xa0Ä\xa0\n\n\náá\na-acute\n\xa0á\xa0\n\nàà\na-grave\n\xa0à\xa0\n\nññ\nn-tilde\n\xa0ñ\xa0\n\nßß\nGerman double-s\n\xa0ß\xa0\n\nþþ\nIcelandic thorn\n\xa0þ\xa0\n\xa0þ\xa0\n\n\n\n\n示例：\n\n\n对于西班牙语，您需要：\nÁÁ (Á),\náá (á),\nÉÉ (É),\néé (é),\nÍÍ (Í),\níí (í),\nÓÓ (Ó),\nóó (ó),\nÚÚ (ú),\núú (ú),\nÑÑ (Ñ),\nññ (ñ);\n¿¿ (¿);\n¡¡ (¡)。\n例如：Añorarán = AñoraránAñorarán。\n\n\n对于德语，您需要：\nÄÄ (Ä),\nää (ä),\nÖÖ (Ö),\nöö (ö),\nÜÜ (ü),\nüü (ü),\nßß (ß)。\n例如：Grüße aus Köln = Grüße aus KölnGrüße aus Köln。\n\n\n\n点击此处\n点击此处\n以获取完整列表。建议页面编码为UTF-8，这样您也可以直接从键盘输入任何字符，无论是罗马字母、西里尔字母、阿拉伯字母、 它是如何工作的... 第一步是下载页面。然后，可以像第3步那样解析原始文本。 生成的页面对象包含了解析后的信息。 BeautifulSoup允许我们搜索HTML元素。它可以使用.find()搜索第一个HTML元素，或使用.find_all()返回一个列表。 在第5步中，它搜索了一个特定的标签<a>，该标签具有特定的属性id=chars。 然后，它继续迭代.next_elements，直到找到下一个h3标签，该标签标志着该节的结束。 提取每个元素的文本，最后组合成一个单一的文本。请注意，使用or可以避免存储None，当元素没有文本时返回None。 还有更多... 正则表达式可以用作.find()和.find_all()方法的输入。例如，此搜索使用h2和h3标记： page.find_all(re.compile('^h(2|3)')) [<h2>Sample Web Page</h2>, <h3 id="contents">CONTENTS</h3>, <h3 id="basics">1. Creating a Web Page</h3>, <h3 id="syntax">2. HTML Syntax</ h3>, <h3 id="chars">3. Special Characters</h3>, <h3 id="convert">4. Converting Plain Text to HTML</h3>, <h3 id="effects">5. Effects</ h3>, <h3 id="lists">6. Lists</h3>, <h3 id="links">7. Links</h3>, <h3 id="tables">8. Tables</h3>, <h3 id="viewing">9. Viewing Your Web Page</ h3>, <h3 id="install">10. Installing Your Web Page on the Internet</h3>, <h3 id="more">11. Where to go from here</h3>] html.parser解析器是默认的解析器，但对于某些操作，它可能会有问题。例如，对于大页面，它可能会很慢，并且它可能会在渲染高度动态的网页时出现问题。您可以使用其他解析器，例如lxml，它更快，或html5lib，它将更接近浏览器的操作方式。它们是需要添加到requirements.txt文件中的外部模块。 HTML非常灵活，可以有多种结构。本篇案例是典型的，但其他选项可将相关部分组合在大的<div>标记或其他元素内，甚至可以使用原始文本。需要进行一些实验，才能找到提取网页中的精华部分的具体过程。不要害怕尝试！ 另一个有用的查找参数是使用class_参数包含CSS类。这将在本书的后面展示。 完整的Beautiful Soup文档可以在此处找到： |
|
|
