|
python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容 Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。 Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation [学习]用python的BeautifulSoup分析html - 三夜灯 - 博客园 Beautiful3 Soup documentation 中文文档只有bs3的，最新的只有英文版的 热血狂徒 / zyspider - 代码托管 - 开源中国社区 python3.4学习笔记(十三) 网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息，抓取政府网新闻内容 - 流风，飘然的风 - 博客园 ============================================ 一、使用pip直接安装beautifulsoup4 （如何安装pip请看上一篇文章介绍） F:\kanbox\pythoncode\zyspider>pip install beautifulsoup4 F:\kanbox\pythoncode\zyspider> 或者从官网下载Beautifulsoup的软件包，然后解压，cmd命令行进入解压包目录，输入以下命令安装：python setup.py install =======================================  1 __author__ = 'zdz8207' 2 from bs4 import BeautifulSoup 3 4 import urllib.request 5 import urllib.parse 6 import re 7 import urllib.request, urllib.parse, http.cookiejar 8 9 def getHtml(url): 10 cj = http.cookiejar.CookieJar() 11 opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) 12 opener.addheaders = [('User-Agent', 13 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'), 14 ('Cookie', '4564564564564564565646540')] 15 16 urllib.request.install_opener(opener) 17 18 html_bytes = urllib.request.urlopen(url).read() 19 html_string = html_bytes.decode('utf-8') 20 return html_string 21 22 html_doc = getHtml("http://zst./ssq/openInfo/") 23 soup = BeautifulSoup(html_doc, 'html.parser') 24 25 # print(soup.title) 26 #table = soup.find_all('table', class_='fzTab') 27 #print(table)#<tr onmouseout="this.style.background=''" 这种tr丢失了 28 #soup.strip() 加了strip后经常出现find_all('tr') 只返回第一个tr 29 tr = soup.find('tr',attrs={"onmouseout": "this.style.background=''"}) 30 #print(tr) 31 tds = tr.find_all('td') 32 opennum = tds[0].get_text() 33 #print(opennum) 34 35 reds = [] 36 for i in range(2,8): 37 reds.append(tds[i].get_text()) 38 #print(reds) 39 blue = tds[8].get_text() 40 #print(blue) 41 42 #把list转换为字符串:(',').join(list) 43 #最终输出结果格式如：2015075期开奖号码：6,11,13,19,21,32, 蓝球：4 44 print(opennum+'期开奖号码：'+ (',').join(reds)+", 蓝球："+blue) python3.4学习笔记(十四) 网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例 - 流风，飘然的风 - 博客园 从上实例可以看出使用BeautifulSoup4对比直接使用字符串查找截取的方式要更加直观和简洁。 ======================================= Python2.7 安装 beautifulsoup4-4.4.0 下载地址：http://www./software/BeautifulSoup/bs4/download/4.4/ python3.4中可以直接使用from bs4 import BeautifulSoup 注：在同一台电脑上安装2.7和3.4的会导致使用pip命令在2.7情况下安装不了Beautifulsoup4 ======================================= 创建对象：str初始化，常用urllib2或browser返回的html初始化BeautifulSoup对象。 soup 就是BeautifulSoup处理格式化后的字符串，soup.title 得到的是title标签，soup.p 得到的是文档中的第一个p标签，要想得到所有标签，得用find_all 函数。find_all 函数返回的是一个序列，可以对它进行循环，依次得到想到的东西. get_text() 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的。你可以试试 print soup.p.get_text() 其实是可以获得标签的其他属性的，比如我要获得a标签的href属性的值，可以使用 print soup.a['href'],类似的其他属性，比如class也是可以这么得到的（soup.a['class']）。 特别的，一些特殊的标签，比如head标签，是可以通过soup.head 得到，其实前面也已经说了。 如何获得标签的内容数组？使用contents 属性就可以 比如使用 print soup.head.contents，就获得了head下的所有子孩子，以列表的形式返回结果， 可以使用 [num] 的形式获得 ,获得标签，使用.name 就可以。 获取标签的孩子，也可以使用children，但是不能print soup.head.children 没有返回列表，返回的是 <listiterator object at 0x108e6d150>, 不过使用list可以将其转化为列表。当然可以使用for 语句遍历里面的孩子。 关于string属性，如果超过一个标签的话，那么就会返回None，否则就返回具体的字符串print soup.title.string 就返回了 The Dormouse's story 超过一个标签的话，可以试用strings 向上查找可以用parent函数，如果查找所有的，那么可以使用parents函数 查找下一个兄弟使用next_sibling,查找上一个兄弟节点使用previous_sibling,如果是查找所有的，那么在对应的函数后面加s就可以 如何遍历树？ 使用find_all 函数 find_all(name, attrs, recursive, text, limit, **kwargs) 举例说明： print soup.find_all('title') 返回值为： [<title>The Dormouse's story</title>] 通过css查找,直接上例子把： print soup.find_all("a", class_="sister") 通过属性进行查找 通过文本进行查找 限制结果个数 结果为： [<a class="sister" href="http:///elsie" id="link1">Elsie</a>, <a class="sister" href="http:///lacie" id="link2">Lacie</a>, <a class="sister" href="http:///tillie" id="link3">Tillie</a>] 总之，通过这些函数可以查找到想要的东西。 ================================================= 最简单的爬虫，在Python3中，urllib库可以独立完成这些工作。下面是直接在python控制台上输入的代码最简单的爬虫，可以获取到原始字节及解码后的文本。 >>> import urllib.request as request 其中origin_bytes现在得到了传输过来的原始字节，而origin_string则是将这些原始字节以UTF-8编码方式解码出来的原始字符串。 使用headers伪装成浏览器进行访问 >>> import urllib.request as request 其中headers可以从浏览器的调试工具中看到，比如firefox中的firebug，可以复制curl内容进行分析。
|
|
|
