【原】一文看懂爬虫解析神器：BeautifulSoup 使用指南

编程教室 2025-07-02 发布于江苏

展开全文

大家好，欢迎来到 Crossin的编程教室！

在做爬虫项目时一定遇到过这样的问题：网页是抓取下来了，但打开来发现都是“乱糟糟”的 HTML 代码。

那么，要如何从一堆 HTML 标签文本中挖出自己想要的数据呢？

那就不得不说说今天文章的主角：BeautifulSoup，一个让网页解析像喝汤一样简单的 Python 神器！

PyPI 上，它月下载量过亿，堪称爬虫界的明星。想快速提取标题、价格或链接？几行代码就能搞定！下面通过简单示例和对比，带你轻松上手这个“美丽的汤”！

BeautifulSoup 是什么？

BeautifulSoup（简称 BS）是一个 Python 库，专为解析 HTML 和 XML 设计，名字灵感来自《爱丽丝梦游仙境》，透着股奇幻文艺范儿。它的作者 Leonard Richardson 从 2004 年开始开发这个项目，目标是让开发者轻松提取网页数据，无需钻研复杂的正则表达式或 XPath 语法。

相比其他工具，BS 有啥独特之处？

正则表达式：万能但复杂，一不小心就“满屏报错”。
lxml：速度快，但 API 偏硬核，适合高级玩家。
pyquery：模仿 jQuery，适合前端开发者，但上手稍慢。

BS 的杀手锏是简单：直观的 API，强大的社区支持，搭配多种解析器，无论是新手还是老手都能快速上手。

为什么选 BeautifulSoup？

假设你要从网页提取一个商品价格，比如 <p>价格：99.9 元</p>。用 Python 内置的字符串操作或正则表达式，代码可能是这样的：

# 字符串操作s = '<p>价格：99.9 元</p>'start = s.find('价格：')end = s.find(' 元')print(s[start+3:end])  # 99.9
# 正则表达式import rer = re.search(r'[\d.]+', s)print(r.group())  # 99.9

字符串操作繁琐，HTML 一复杂就容易出错；正则表达式虽强，但写起来费脑筋。换成 BeautifulSoup，则只需几行代码：

from bs4 import BeautifulSoups = '<p>价格：99.9 元</p>'soup = BeautifulSoup(s, 'html.parser')price = soup.p.get_text().split('：')[1].split(' ')[0]print(price)  # 99.9

BS 通过解析 HTML 结构，直接定位元素，代码简洁又直观。无论是提取文本、属性还是嵌套标签，BS 都能让你事半功倍！

快速上手：安装与基本操作

安装

安装 BS 超级简单，运行以下命令：

pip install beautifulsoup4

注意：包名是 beautifulsoup4（bs4），老版本 BeautifulSoup（bs3）已不推荐。如果用 Anaconda，BS 和常用解析器已默认包含。想提升性能的话可以额外安装 lxml：

pip install lxml

BS 支持多种解析器，影响性能和容错性：

html.parser：Python 内置，简单但对不规范 HTML 容错性一般。
lxml：高性能，强烈推荐。
html5lib：容错性强，适合乱七八糟的网页（需安装：pip install html5lib）。

基本用法

BS 的核心是把 HTML 解析成结构化对象，再通过标签、属性或选择器提取数据。来看个经典示例：

from bs4 import BeautifulSoup
html_doc = """<html><head><title>童话故事</title></head><body><p class="title"><b>三姐妹的故事</b></p><p class="story">从前有三个小女孩，她们的名字是<a href="http:///elsie" class="sister" id="link1">Elsie</a>,<a href="http:///lacie" class="sister" id="link2">Lacie</a> 和<a href="http:///tillie" class="sister" id="link3">Tillie</a>。</p></body></html>"""
soup = BeautifulSoup(html_doc, 'lxml')# 获取标题print(soup.title.text)  # 童话故事# 获取第一个 p 标签的 classprint(soup.p['class'])  # ['title']# 查找所有 a 标签links = soup.find_all('a')for link in links:    print(link['href'])  # http:///elsie, ...# 用 CSS 选择器story = soup.select('p.story')[0].get_text()print(story)  # 从前有三个小女孩...

初始化：BeautifulSoup(html, 'lxml') 创建对象。
元素访问：soup.tag 获取标签，soup.tag['attr'] 获取属性。
查找：

find('tag', id='id')：返回单个元素或 None。

find_all('tag', class_='class')：返回元素列表。

select('css_selector')：支持 CSS 选择器。

输出：get_text() 提取文本，prettify() 格式化 HTML。

更多用法可查官方文档，简单几页就能上手！

实战案例：提取网页数据

假设我们要从一个电商网页提取商品名称和价格，先用 requests 抓取网页，再用 BS 解析：

import requestsfrom bs4 import BeautifulSoup
url = 'https:///products'response = requests.get(url)soup = BeautifulSoup(response.text, 'lxml')
# 假设商品在 class="product" 的 div 中products = soup.find_all('div', class_='product')for product in products:    name = product.find('h2').get_text()    price = product.find('span', class_='price').get_text()    print(f'商品: {name}, 价格: {price}')