python day09

印度阿三17 2019-06-22

展开全文

一.昨日作业

  1 import requests
  2 from bs4 import BeautifulSoup
  3 from pymongo import MongoClient
  4 
  5 # 连接MongoDB客户端
  6 client = MongoClient('localhost', 27017)
  7 # 创建或选择wangdoujia库，index集合
  8 index_col = client['wangdoujia']['index']
  9 # 创建或选择wangdoujia库，detail集合
 10 detail_col = client['wangdoujia']['detail']
 11 
 12 # 1、发送请求
 13 def get_page(url):
 14     response = requests.get(url)
 15     return response
 16 
 17 # 2、开始解析
 18 # 解析详情页
 19 def parse_detail(text):
 20 
 21     soup = BeautifulSoup(text, 'lxml')
 22     # print(soup)
 23 
 24     try:
 25         name = soup.find(name="span", attrs={"class": "title"}).text
 26     except Exception:
 27         name = None
 28 
 29 
 30 
 31     try:
 32         love = soup.find(name='span', attrs={"class": "love"}).text
 33     except Exception:
 34         love = None
 35 
 36 
 37 
 38     try:
 39         commit_num = soup.find(name='a', attrs={"class": "comment-open"}).text
 40     except Exception:
 41         commit_num = None
 42 
 43 
 44     try:
 45         commit_content = soup.find(name='div', attrs={"class": "con"}).text
 46     except Exception:
 47         commit_content = None
 48 
 49 
 50     try:
 51         download_url = soup.find(name='a', attrs={"class": "normal-dl-btn"}).attrs['href']
 52     except Exception:
 53         # 若有异常，设置为None
 54         download_url = None
 55 
 56 
 57     if name and love and commit_num and commit_content and download_url:
 58         detail_data = {
 59             'name': name,
 60             'love': love,
 61             'commit_num': commit_num,
 62             'download_url':download_url
 63         }
 64 
 65     if not love:
 66         detail_data = {
 67             'name': name,
 68             'love': '没有点赞',
 69             'commit_num': commit_num,
 70             'download_url': download_url
 71         }
 72     if not download_url:
 73         detail_data = {
 74             'name': name,
 75             'love': love,
 76             'commit_num': commit_num,
 77             'download_url':'没有安装包'
 78         }
 79 
 80 
 81     detail_col.insert(detail_data)
 82     print(f'{name}app数据插入成功！')
 83 
 84 # 解析主页
 85 def parse_index(data):
 86     soup = BeautifulSoup(data, 'lxml')
 87 
 88     # 获取所有app的li标签
 89     app_list = soup.find_all(name='li', attrs={"class": "card"})
 90     for app in app_list:
 91         # print('*' * 1000)
 92         # print(app)
 93         # 图标地址
 94         # 获第一个img标签中的data-origina属性
 95         img = app.find(name='img').attrs['data-original']
 96         # print(img)
 97 
 98         # 下载次数
 99         # 获取class为install-count的span标签中的文本
100         down_num = app.find(name='span',attrs={"class": "install-count"}).text
101         # print(down_num)
102 
103         # 大小
104         # 根据文本正则获取到文本中包含 数字   MB （\d 代表数字）的span标签中的文本
105         import re
106         size = soup.find(name='span', text=re.compile("\d MB")).text
107         # print(size)
108 
109         # 详情页地址
110         # 获取class为detail-check-btn的a标签中的href属性
111         detail_url = app.find(name='a').attrs['href']
112         # print(detail_url)
113 
114         # 拼接数据
115         index_data = {
116             'img':img,
117             'down_num':down_num,
118             'size': size,
119             'detail_url': detail_url
120         }
121 
122         index_col.insert(index_data)
123         print(f'主页数据插入成功')
124 
125         # 3、往app详情页发送请求
126         response = get_page(detail_url)
127         # print(response.text)
128         # print('tank')
129 
130         # 4、解析详情页
131         parse_detail(response.text)
132 
133 
134 def main():
135     for line in range(1,33):
136         url = f'https://www.wandoujia.com/wdjweb/api/category/more?catId=6001&subCatId=0&page={line}&ctoken=ql8VkarJqaE7VAYNAEe2JueZ'
137 
138         # 1、往app接口发送前请求
139         response = get_page(url)
140         # print(response.text)
141         print('*' * 1000)
142         # 反序列化为字典
143         data = response.json()
144         # 获取接口中app标签数据
145         app_li = data['data']['content']
146         # print(app_li)
147         # 2、解析app标签数据
148         parse_index(app_li)
149 
150         # 执行完所有函数关闭mongoDB客户端
151         client.close()
152 
153 
154 if __name__ == '__main__':
155     main()

View Code

二.scrapy爬虫框架的使用

? ? Scrapy爬虫框架:发送请求 ---> 获取响应数据 ---> 解析数据 ---> 保存数据

? ? ** Scarpy框架介绍 **

? ? 1、引擎(EGINE)
? ? ? ? ? ?? 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。

? ? 2、调度器(SCHEDULER)
? ? ? ? ? ? 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么,

? ?? 同时去除重复的网址

? ? 3、下载器(DOWLOADER)
? ? ? ? ? ? 用于下载网页内容, 并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的

? ?? 4、爬虫(SPIDERS)
? ? ? ? ? ? SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求

? ?? 5、项目管道(ITEM PIPLINES)
? ? ? ? ? ? 在items被提取后负责处理它们，主要包括清理、验证、持久化（比如存到数据库）等操作下载器中间件(Downloader Middlewares)

? ? ? ?? 位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response，

? ? ? ? 你可用该中间件做以下几件事：
　　(1) process a request just before it is sent to the Downloader (i.e. right before Scrapy sends the request to the website);
　　(2) change received response before passing it to a spider;
　　(3) send a new Request instead of passing received response to a spider;
　　(4) pass response to a spider without fetching a web page;
　　(5) silently drop some requests.

? ? ? 6、爬虫中间件(Spider Middlewares)
? ? ? ? ?? 位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入（即responses）和输出（即requests）

? ? ? ** Scarpy安装 **
? ? ?? 1、pip3 install wheel
? ? ?? 2、pip3 install lxml
? ? ?? 3、pip3 install pyopenssl
? ? ?? 4、pip3 install pypiwin32
? ? ?? 5、安装twisted框架
? ? ? 下载twisted
? ? ? ? ? ? http://www.lfd./~gohlke/pythonlibs/#twisted
? ? ?? 安装下载好的twisted
? ? ? ? ? ? pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl

? ? ?? 6、pip3 install scrapy

? ? ?? ** Scarpy使用 **
? ? ?? 1、进入终端cmd
? ? ? ? ?? - scrapy
? ? ? ? ?? C:\Users\administortra>scrapy
? ? ? ? ? Scrapy 1.6.0 - no active project

? ? ?? 2、创建scrapy项目
? ? ? ?? 1.创建一个文件夹，专门用于存放scrapy项目
? ? ? ? ? ? - D:\Scrapy_prject
? ? ? ?? 2.cmd终端输入命令
? ? ? ? ? ? scrapy startproject Spider_Project（项目名）
? ? ? ? ? ? - 会在 D:\Scrapy_prject文件夹下会生成一个文件
? ? ? ? ? ? Spider_Project : Scrapy项目文件

? ? ? ? 3.创建爬虫程序
? ? ? ? ? cd Spider_Project # 切换到scrapy项目目录下
? ? ? ? ? ? # 爬虫程序名称目标网站域名
? ? ? ? ?? scrapy genspider baidu www.baidu.com # 创建爬虫程序

? ? ? 3、启动scrapy项目，执行爬虫程序

? ? ? ? ? # 找到爬虫程序文件进行执行
? ? ? ?? scrapy runspider只能执行某个爬虫程序.py
? ? ? ?? # 切换到爬虫程序执行文件目录下
? ? ? ? - cd D:\Scrapy_prject\Spider_Project\Spider_Project\spiders
? ? ? ? - scrapy runspider baidu.py

? ? ? ?? # 根据爬虫名称找到相应的爬虫程序执行
? ? ? ? scrapy crawl 爬虫程序名称
? ? ? ? # 切换到项目目录下
? ? ?? - cd D:\Scrapy_prject\Spider_Project
? ? ?? - scrapy crawl baidu

三.微信机器人

? ?? 安装：wxpy 支持 Python 3.4-3.6，以及 2.7 版本?

? ? ? ? ? ? ? pip3 install -U wxpy

? ?? 安装 pillow模块

? ? ? ? ? ? ? pip3 install pillow

? ?? 安装 pyecharts模块

? ? ? ? ? ? ? pip3 install pyecharts

 1 # from wxpy import *
 2 # bot = Bot()
 3 # bot = Bot(cache_path=True) # 必须先登录过一次以后才可以使用缓存
 4 
 5 
 6 # from wxpy import Bot
 7 # from pyecharts import Pie
 8 # import webbrowser
 9 #
10 # # 实例化一个微信机器人对象
11 # bot = Bot()
12 #
13 # # 获取到微信的所有好友
14 # friends = bot.friends()
15 #
16 # # 设定男性\女性\位置性别好友名称
17 # attr = ['男朋友', '女朋友', '人妖']
18 #
19 # # 初始化对应好友数量
20 # value = [0, 0, 0]
21 #
22 # # 遍历所有的好友,判断这个好友是男性还是女性
23 # for friend in friends:
24 #     if friend.sex == 1:
25 #         value[0]  = 1
26 #     elif friend.sex == 2:
27 #         value[1]  = 1
28 #     else:
29 #         value[2]  = 1
30 #
31 # # 实例化一个饼状图对象
32 # pie = Pie('tank的好友们!')
33 #
34 # # 图表名称str，属性名称list，属性所对应的值list，is_label_show是否现在标签
35 # pie.add('', attr, value, is_label_show=True)
36 #
37 # # 生成一个html文件
38 # pie.render('friends.html')
39 #
40 # # 打开html文件
41 # webbrowser.open('friends.html')
42 
43 
44 '''
45 $ pip36 install echarts-countries-pypkg
46 $ pip36 install echarts-china-provinces-pypkg
47 $ pip36 install echarts-china-cities-pypkg
48 $ pip36 install echarts-china-counties-pypkg
49 $ pip36 install echarts-china-misc-pypkg
50 '''
51 
52 
53 from wxpy import *
54 from pyecharts import Map
55 import webbrowser
56 bot=Bot(cache_path=True)
57 
58 friends=bot.friends()
59 
60 
61 area_dic={}#定义一个字典,用来存放省市以及省市人数
62 for friend in friends:
63     if friend.province not in area_dic:
64         area_dic[friend.province]=1
65     else:
66         area_dic[friend.province] =1
67 
68 attr = area_dic.keys()
69 value = area_dic.values()
70 
71 
72 
73 map = Map("好朋友们的地域分布", width=1200, height=600)
74 map.add(
75     "好友地域分布",
76     attr,
77     value,
78     maptype='china',
79     is_visualmap=True, #结合体VisualMap
80 
81 )
82 #is_visualmap -> bool 是否使用视觉映射组件
83 #
84 map.render('area.html')
85 
86 
87 webbrowser.open("area.html")

View Code

 1 # main（）
 2 from scrapy.cmdline import execute
 3 
 4 # 写终端的命令
 5 # scrapy crawl baidu
 6 # 执行baidu爬虫程序
 7 # execute(["scrapy", 'crawl', "baidu"])
 8 
 9 # 创建爬取链家网爬虫程序
10 # execute(["scrapy", "genspider", "lianjia", ""])
11 
12 # 执行链家爬虫程序
13 # execute("scrapy crawl lianjia".split(" "))
14 
15 # --nolog去除日志
16 execute("scrapy crawl --nolog lianjia".split(" "))

 1 import scrapy
 2 from scrapy import Request
 3 
 4 # response的类
 5 from scrapy.http.response.html import HtmlResponse
 6 class LianjiaSpider(scrapy.Spider):
 7     name = 'lianjia'  # 爬虫程序名
 8     # 只保留包含的url
 9     allowed_domains = ['']  # 限制域名
10 
11     # 存放初始请求url
12     start_urls = ['https://bj./ershoufang/']
13 
14     def parse(self, response):  # response返回的响应对象
15         # print(response)
16         # print(type(response))
17         # # 获取文本
18         # print(response.text)
19         # print(response.url)
20         # 获取区域列表url
21         area_list = response.xpath('//div[@data-role="ershoufang"]/div/a')
22 
23         # 遍历所有区域列表
24         for area in area_list:
25             print(area)
26             '''
27             .extract()提取多个
28             .extract_first()提取一个
29             '''
30             # 1、区域名称
31             area_name = area.xpath('./text()').extract_first()
32             print(area_name)
33             # 2、区域二级url
34             area_url = 'https://bj./'   area.xpath('./@href').extract_first()
35             print(area_url)
36             # 会把area_url的请求响应数据交给callback方法
37             # yield后面跟着的都会添加到生成器中
38             yield Request(url=area_url, callback=self.parse_area)
39 
40 
41     def parse_area(self, response):
42         # print(response)
43 
44         house_list = response.xpath('//ul[@class="sellListContent"]')
45         # print(house_list)
46         if house_list:
47             for house in house_list:
48 
49                 house_name = house.xpath('.//div[@class="title"]/a/text()').extract_first()
50                 print(house_name)
51 
52                 house_cost = house.xpath('.//div[@class="totalPrice]/text()').extract_first()   '万'
53                 print(house_cost)
54 
55                 house_price = house.xpath('.//div[@class="unitPrice"]/span/text()').extract_first()
56                 print(house_price)
57 
58                 pass

View Code

来源：https://www./content-1-258101.html