logo
搜索
我的图书馆

发文章

发文工具

其他工具

留言交流
搜索
分享

Python爬虫从入门到精通（解析库re的使用：正则表达式）

 网海拾贝网络猪 2020-03-17

分类目录：《Python爬虫从入门到精通》总目录

解析库使用篇：
解析库re的使用：正则表达式
解析库XPath的使用
解析库Beautiful Soup的使用
解析库pyquery的使用

相关实战：爬取猫眼电影排行Top100

正则表达式是处理字符串的强大工具，它有自己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下。对于爬虫，基于正则表达式，从HTML里提取想要的信息就非常方便了。

正则表达式有特定的语法规则的。写好正则表达式后，就可以拿它去一个长字符串里匹配查找了。不论这个字符串里面有什么，只要符合我们写的规则，统统可以找出来。对于网页来说，如果想找出网页源代码里有多少URL，用匹配URL的正则表达式去匹配即可。下图就列出了正则表达式常用的匹配规则。
正则表达式常用的匹配规则
正则表达式不是Python独有的，它可以用在其他编程语言中。在Python中，re库提供了整个正则表达式的实现，利用这个库，可以在Python中使用正则表达式。在Python中写正则表达式几乎都用这个库，下面就来了解它的一些常用方法。

match()

match()传入要匹配的字符串以及正则表达式，就可以检测这个正则表达式是否匹配字符串。match()方法会尝试从字符串的起始位置匹配正则表达式，如果匹配，就返回匹配成功的结果，如果不匹配，就返回None。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.match('Blog:\w{11}', content)
print(result.group())

运行结果：

Blog:hy592070616

这里首先声明了一个字符串 'Blog:hy592070616 Corporation:HUAWEI'，其中包含英文字母、空格、数字、冒号等。接下来，我们写一个正则表达式'Blog:\w{11}'来匹配这个字符串。正则表达式中Blog:就是待匹配字符串的开头，\w通过查上表可知是匹配字母、数字及下划线，\w后面跟着{11}表示匹配11个\w。根据这个规则就可以从字符串 'Blog:hy592070616 Corporation:HUAWEI'中匹配出字符串Blog:hy592070616。同样，我们可以加入\s来匹配空格，\d来匹配数字以匹配整个字符串。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.match('\w{4}:\w{2}\d{9}\s\w{11}:\w{6}', content)
print(result.group())

运行结果：

Blog:hy592070616 Corporation:HUAWEI

当然，做这种简单的任务我们可以用\S来匹配任意非空字符达到相同的效果。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.match('\S{16}\s\S{18}', content)
print(result.group())

上面几种正则表达式比较复杂，出现空白字符我们就写\s匹配，出现数字我们就用\d匹配，这样的工作量非常大。其实完全没必要这么做，在上表中有一个万能匹配.*。其中，.可以匹配任意字符（除换行符），*代表字符无限次，所以它们组合在一起就可以匹配任意字符了。有了.*，我们就不用挨个字符地匹配了。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.match('B.*I', content)
print(result.group())

正则表达式B.*I中的B和I代表了字符串Blog:hy592070616 Corporation:HUAWEI首位两个字符，其它的字符均用.*来进行匹配。我们就可以得到相同的结果：

Blog:hy592070616 Corporation:HUAWEI

如果想从字符串中提取一部分内容，可以使用()将想提取的子字符串括起来。()实际上标记了一个子表达式的开始和结束位置，被标记的每个子表达式会依次对应每一个分组，调用group()方法传入分组的索引即可获取提取的结果。比如希望从我的博客名hy592070616中提取我的QQ号592070616就可以使用()。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.match('\w{4}:\w\w(\d+)', content)
print(result.group(1))

运行结果：

592070616

可以看到，我们成功得到了592070616。这里用的是group(1)，它与group()有所不同。group()会输出完整的匹配结果，而group(1)会输出第一个被()包围的匹配结果。假如正则表达式后面还有()包括的内容，那么可以依次用group(2)、group(3)等来获取。

若使用.*匹配时，有时候匹配到的并不是我们想要的结果。比如还是从我的博客名hy592070616中提取我的QQ号592070616。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.match('B.*(\d+)', content)
print(result.group(1))

运行结果为：

6

很明显，我们希望提取的是592070616，而此处由于我们用了万能匹配符.*在语句中，正则表达式就会匹配59207061，所以在括号中我们就只能提取到一个数字6。这里就涉及一个贪婪匹配与非贪婪匹配的问题了。在贪婪匹配下，.*会匹配尽可能多的字符。正则表达式中.*后面是\d+，也就是至少一个数字，并没有指定具体多少个数字，因此，.*就尽可能匹配多的字符，这里就把59207061给匹配了，给\d+留下一个可满足条件的数字6。这很明显会给我们带来很大的不便。有时候，匹配结果会莫名其妙少了一部分内容。其实，这里只需要使用非贪婪匹配就好了。非贪婪匹配的写法是.*?，我们需要将将第一个.*改成了.*?就可以转变为非贪婪匹配。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.match('B.*?(\d+)', content)
print(result.group(1))

结果如下：

592070616

match()还有个可选参数修饰符，修饰符可以扩展正则表达式的匹配范围。
正则表达式修饰符
比如，在字符串Blog:hy592070616 Corporation:HUAWEI中加入换行，将其变为：

Blog:hy592070616
Corporation:HUAWEI

用之前的方法就没有办法对其进行匹配：

import re

content = '''Blog:hy592070616
Corporation:HUAWEI
'''
result = re.match('B.*I', content)
print(result.group())

这里的result就会返回一个None，因为.*无法匹配换行符。我们只需在match()中的第三个参数加一个修饰符re.S，即可修正这个错误。

import re

content = '''Blog:hy592070616
Corporation:HUAWEI
'''
result = re.match('B.*I', content, re.S)
print(result.group())

这样就可以正常返回结果：

Blog:hy592070616
Corporation:HUAWEI

search()

match()方法是从字符串的开头开始匹配的，一旦开头不匹配，那么整个匹配就失败了。而search()方法在匹配时会扫描整个字符串，然后返回第一个成功匹配的结果。也就是说，正则表达式可以是字符串的一部分，在匹配时，search()方法会依次扫描字符串，直到找到第一个符合规则的字符串，然后返回匹配内容，如果搜索完了还没有找到，就返回None。比如我们要匹配字符串Blog:hy592070616 Corporation:HUAWEI中的HUAWEI：

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.search('Corporation:(\w+)', content)
print(result.group(1))

就可以得到HUAWEI结果，而不需要将字符串前部全部匹配。

findall()

search()方法可以返回匹配正则表达式的第一个内容，但是如果想要获取匹配正则表达式的所有内容，就需要findall()方法。该方法会搜索整个字符串，然后返回匹配正则表达式的所有内容并返回列表。假设我们有HTML文件：

<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>

我们希望提取歌手和歌名的信息，则可以：

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>'''

result = re.findall('singer="(\w+).*>(\w+)</a>', html)
print(result)

我们可以看到，大部分的歌手和歌名是singer="歌手">歌名</a>的形式，则我们可以写正则表达式singer="(\w+)">(\w+)</a>。但是我们发现有一条 singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>中有其他信息，使用上述的正则表达式这无法匹配出（邓丽君，但愿人长久）这个信息。基于这个问题，我们可以将正则表达式修改为singer="(\w+).*>(\w+)</a>（上述代码中的正则表达式），就可以顺利匹配出所有信息了。

[('任贤齐', '沧海一声笑'), ('齐秦', '往事随风'), ('beyond', '光辉岁月'), ('陈慧琳', '记事本'), ('邓丽君', '但愿人长久')]

sub()

除了使用正则表达式提取信息外，有时候还需要借助它来修改文本。比如，想要把一串文本中的所有数字都去掉，这时就可以借助sub()方法。比如，我想将字符串Blog:hy592070616 Corporation:HUAWEI中的Corporation:HUAWEI去掉，就可以匹配Corporation:HUAWEI并用空的字符串替换。

import re

content = 'Blog:hy592070616 Corporation:HUAWEI'
result = re.sub('Corporation:.*', '',content)
print(result)

结果如下：

Blog:hy592070616

compile()

除了前面提到的处理字符串的方法以外，最后再介绍一下compile()方法，这个方法可以将正则字符串编译成正则表达式对象，以便在后面的匹配中复用。

import re

content1 = '2019-01-01 12:00'
content2 = '2019-01-02 12:30'
content3 = '2019-01-03 13:00'
pattern = re.compile('(\d+)-(\d+)-(\d+)\s.*')
result_1 = re.match(pattern, content1)
result_2 = re.match(pattern, content2)
result_3 = re.match(pattern, content3)
print('Year:' + result_1.group(1) + '  Month:' + result_1.group(2) + '  Day:' + result_1.group(3))
print('Year:' + result_2.group(1) + '  Month:' + result_2.group(2) + '  Day:' + result_2.group(3))
print('Year:' + result_3.group(1) + '  Month:' + result_3.group(2) + '  Day:' + result_3.group(3))

这里为了找到各个字符串中的年月日信息构建了正则表达式对象(\d+)-(\d+)-(\d+)\s.*以复用，输出结果如下：

import re

content1 = '2019-01-01 12:00'
content2 = '2019-01-02 12:30'
content3 = '2019-01-03 13:00'
pattern = re.compile('(\d+)-(\d+)-(\d+)\s.*')
result_1 = re.match(pattern, content1)
result_2 = re.match(pattern, content2)
result_3 = re.match(pattern, content3)
print('Year:' + result_1.group(1) + '  Month:' + result_1.group(2) + '  Day:' + result_1.group(3))
print('Year:' + result_2.group(1) + '  Month:' + result_2.group(2) + '  Day:' + result_2.group(3))
print('Year:' + result_3.group(1) + '  Month:' + result_3.group(2) + '  Day:' + result_3.group(3))

    本站是提供个人知识管理的网络存储空间，所有内容均由用户发布，不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息，谨防诈骗。如发现有害或侵权内容，请点击一键举报。
    转藏 分享 献花（0）

    来自： 网海拾贝网络猪 > 《爬虫》

    举报/认领

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多