Python爬虫 | Selenium爬取单页东方财富网上市公司利润表数据

本文是对历史推文（Selenium案例——爬取单页东方财富网上市公司利润表数据）的更新，原因是selenium升级了，对相关代码进行了更新。

任务：获取东方财富网披露的上市公司2020年年报的利润表数据。

网址：https://data.eastmoney.com/bbsj/202012/lrb.html

Part1创建浏览器对象

使用Chrome浏览器构造一个Webdriver对象，赋值给变量web，代码如下：

from selenium import webdriver
web= webdriver.Chrome()


Part2访问页面

web调用get()方法请求想要抓取的网页，参数传入链接URL即可。代码如下：

web.get('https://data.eastmoney.com/bbsj/202012/lrb.html')

Part3元素定位

Selenium可以驱动浏览器完成各种操作，比如模拟点击等。要想操作一个元素，首先应该识别这个元素。人有各种的特征（属性），我们可以通过其特征找到人，如通过身份证号、姓名、家庭住址。同理，一个元素会有各种的特征（属性），我们可以通过这个属性找到这对象。

webdriver 提供了一系列的对象定位方法，常用的有以下8种：

定位一个元素	find_element()
通过元素id定位	find_element(By.ID,value)
通过元素name定位	find_element(By.NAME,value)
通过xpath表达式定位	find_element(By.XPATH,value)
通过完整超链接定位	find_element(By.LINK_TEXT,value)
通过部分链接定位	find_element(By.PARTIAL_LINK_TEXT,value)
通过标签定位	find_element(By.TAG_NAME,value)
通过类名进行定位	find_element(By.CLASS_NAME,value)
通过css选择器进行定位	find_element(By.CSS_SELECTOR,value)

定位多个元素，就是把上述element后面多了复数标识s，变为elements，其他操作一致。

具体到本案例，谷歌浏览器右键“检查”，点击“Elements”，发现我们需要的财报数据在class为dataview-body的div标签下，每行数据则在该div标签下的tr标签中，每个单元格数据则在tr标签下的td标签中。

因此我们的元素定位思路如下：

（1）使用find_element_by_class_name方法查找表格所在的节点。

（2）再向下定位到tbody节点下的tr节点，因为网页中有很多个tr节点，所以要用find_elements方法。

（3）再向下定位到td节点，因为网页中有很多个td节点，所以要用find_elements方法。

from selenium.webdriver.common.by import By
element = web.find_element(By.CLASS_NAME,'dataview-body')  # 定位表格
tr_list = element.find_element(By.TAG_NAME,'tbody').find_elements(By.TAG_NAME,'tr') # 进一步定位到每一行表格内容
for tr in tr_list:
    td_list=tr.find_elements(By.TAG_NAME,'td')


Part4元素信息获取

我们所需要的元素在td节点中，因此我们可以遍历td节点，每行数据存储到变量lst中；遍历tr节点，整个表格数据存储到变量data中。

我们可以使用get_attribute()方法来获取元素的属性，通过text方法获取元素的文本内容。

代码如下：

data=[] #建立空列表存储表格信息
for tr in tr_list:
    td_list=tr.find_elements(By.TAG_NAME,'td')
    lst = []  #创建空列表存储每行数据
    for td in td_list:
        lst.append(td.text)
    data.append(lst)

Part5存储信息

定位元素、获取元素信息后，我们需要将元素存储下来，这需要用到pandas库，代码如下：

data=pd.DataFrame(data)
data.to_excel('东方财富网上市公司2020年年报利润表第一页数据.xls')


Part6全套代码及运行结果

全套代码如下：

#爬取单页东方财富网上市公司利润表数据
from selenium import webdriver
from selenium.webdriver.common.by import By
import pandas as pd
web = webdriver.Chrome()
web.get('https://data.eastmoney.com/bbsj/202012/lrb.html')
element = web.find_element(By.CLASS_NAME,'dataview-body')  # 定位表格，element是WebElement类型
tr_list = element.find_element(By.TAG_NAME,'tbody').find_elements(By.TAG_NAME,'tr') # 进一步定位到每一行表格内容
data=[]  #建立空列表存储表格信息
for tr in tr_list:
    td_list=tr.find_elements(By.TAG_NAME,'td')
    lst = []  #创建空列表存储每行数据
    for td in td_list:
        lst.append(td.text)
    data.append(lst)
data=pd.DataFrame(data)
data.to_excel('东方财富网上市公司2020年年报利润表第一页数据.xlsx',index=False)

结果如下：

我没有动浏览器，浏览器自己打开了自己：