本文主要围绕以xpath和lxml库进行展开: 一、xpath 概念、xpath节点、xpath语法、xpath轴、xpath运算符 二、lxml的安装、lxml的使用、lxml案例 一、xpath 1.xpath概念 XPath 是一门在 XML 文档中查找信息的语言。XPath 使用路径表达式在 XML 文档中进行导航 。XPath 包含一个标准函数库 。XPath 是 XSLT 中的主要元素 。XPath 是一个 W3C 标准 。 2.xpath节点 xpath有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。 节点关系:父、子、兄弟、先辈、后辈。 3.xpath语法 xpath语法在W3c网站上有详细的介绍,这里截取部分知识,供大家学习。 XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。下面列出了最有用的路径表达式:
在下面的表格中,我们已列出了一些路径表达式以及表达式的结果:
谓语(Predicates)谓语用来查找某个特定的节点或者包含某个指定的值的节点。 谓语被嵌在方括号中。 在下面的表格中,我们列出了带有谓语的一些路径表达式,以及表达式的结果:
选取未知节点XPath 通配符可用来选取未知的 XML 元素。
在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:
选取若干路径通过在路径表达式中使用"|"运算符,您可以选取若干个路径。 在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:
4.xpath 轴 轴可定义相对于当前节点的节点集。
5.xpath运算符 下面列出了可用在 XPath 表达式中的运算符:
好了,xpath的内容就这么多了。接下来我们要介绍一个神器lxml,他的速度很快,曾经一直是我使用beautifulsoup时最钟爱的解析器,没有之一,因为他的速度的确比其他的html.parser 和html5lib快了许多。 二、lxml 1.lxml安装 lxml 是一个xpath格式解析模块,安装很方便,直接pip install lxml 或者easy_install lxml即可。 2.lxml 使用 lxml提供了两种解析网页的方式,一种是你解析自己写的离线网页时,另一种 则是解析线上网页。 导入包: from lxml import etree 1.解析离线网页: html=etree.parse('xx.html',etree.HTMLParser())aa=html.xpath('//*[@id="s_xmancard_news"]/div/div[2]/div/div[1]/h2/a[1]/@href')print(aa) 2.解析在线网页: from lxml import etreeimport requestsrep=requests.get('https://www.baidu.com')html=etree.HTML(rep.text)aa=html.xpath('//*[@id="s_xmancard_news"]/div/div[2]/div/div[1]/h2/a[1]/@href')print(aa) 那么我们怎么获取这些标签和标签对应的属性值了,很简单,首先获取标签只需你这样做: 然后我们可以,比方说,你要获取a标签内的文本和它的属性href所对应的值,有两种方法, 1.表达式内获取
2.表达式外获取
这样就完成了获取,怎么样,是不是很简单了,哈哈哈。 下面再来lxml的解析规则:
html = lxml.etree.HTML(text)#使用text构造一个XPath解析对象,etree模块可以自动修正HTML文本html = lxml.etree.parse('./ex.html',etree.HTMLParser())#直接读取文本进行解析from lxml import etreeresult = html.xpath('//*')#选取所有节点result = html.xpath('//li')#获取所有li节点result = html.xpath('//li/a')#获取所有li节点的直接a子节点result = html.xpath('//li//a')#获取所有li节点的所有a子孙节点result = html.xpath('//a[@href="link.html"]/../@class')#获取所有href属性为link.html的a节点的父节点的class属性result = html.xpath('//li[@class="ni"]')#获取所有class属性为ni的li节点result = html.xpath('//li/text()')#获取所有li节点的文本result = html.xpath('//li/a/@href')#获取所有li节点的a节点的href属性result = html.xpath('//li[contains(@class,"li")]/a/text())#当li的class属性有多个值时,需用contains函数完成匹配result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()')#多属性匹配result = html.xpath('//li[1]/a/text()')result = html.xpath('//li[last()]/a/text()')result = html.xpath('//li[position()<3]/a/text()')result = html.xpath('//li[last()-2]/a/text()')#按序选择,中括号内为XPath提供的函数result = html.xpath('//li[1]/ancestor::*')#获取祖先节点result = html.xpath('//li[1]/ancestor::div')result = html.xpath('//li[1]/attribute::*')#获取属性值result = html.xpath('//li[1]/child::a[@href="link1.html"]')#获取直接子节点result = html.xpath('//li[1]/descendant::span')#获取所有子孙节点result = html.xpath('//li[1]/following::*[2]')#获取当前节点之后的所有节点的第二个result = html.xpath('//li[1]/following-sibling::*')#获取后续所有同级节点 3.lxml案例 为了偷懒,小编决定还是采用urllib那篇文章的代码,哈哈哈,机智如我。 好了,今天就讲这么多,大家感兴趣的话可以多多关注哦,精彩不停息!!!! 本文参考文献: https://www.w3school.com.cn/ |
|