第一时间获取 Python 技术干货! 场景:又到一年年底,大家辛辛苦苦给公司干了一整年,相信大家比较关心的是今年公司「 年终奖 」奖励方案。 和往年不一样,今年经历了资本HD、裁Y潮,很多公司发的年终奖比例少了很多或者干脆选择不发。 今天是要抓取知识星球的一篇关于「 年终奖 」帖子,获取到所有球友的留言信息,然后使用「 jieba 」拆分成词语,最后使用「 wordcloud 」生成词云。 首先,在 PC 上配置好「 mitmproxy 」环境,手机上配置好证书,PC 和手机保证在同一个局域网内。 另外,需要保证已经在虚拟环境下安装必要的库。 # 分词库 pip3 install jieba
# 词云 pip3 install jieba 然后,新建一个脚本文件「 nzj.py 」来拦截 APP 段的请求,对获取到的响应做其他处理。使用 mitmproxy下的「 mitmdump 」组件启动监听程序。 $ mitmdump -s nzj.py Loading script nzj.py Proxy server listening at http://*:8080 我们首先打开知识星球的这篇帖子。 重写「 response(flow) 」方法,解析内容获取到评论内容,写入到文本中。
def response(flow): request = flow.request response = flow.response
# 请求的地址 request_url = request.url # 筛选 if 'comments' in request_url and 'zsxq' in request_url: # 返回的内容 response_content = response.content.decode('utf-8') comments = json.loads(response_content)['resp_data']['comments']
# 最后一页 if len(comments) == 0: print('一共有%d个球友发表了自己的看法' % comment_count) else: comment_count += len(comments) for comment in comments: comment_content = comment['text'] with open(filename, 'a') as f: f.write(comment_content + '\n')
滚动屏幕,直达加载完所有所有球友的评论数据,并保存到文件中。可以看到一共有「 228 」个球友针对今年公司年终奖发表了自己的看法。
然后使用 wordcloud 读取文本内容,生成词云图片并保存到本地,头图就是最后获取到的结果。
代码非常简单,就直接上代码了。 def generate_word_cloud(): """ 生成词云 :return: """ with open(filename, 'r') as f: word_content = f.read()
# 使用jieba去分割 wordlist = jieba.cut(word_content, cut_all=True)
wl_space_split = " ".join(wordlist)
font = r'/Users/xingag/Library/Fonts/SimHei.ttf'
wordcloud = WordCloud(font_path=font, width=1080, height=1920, margin=2).generate(wl_space_split)
# 显示图片 plt.imshow(wordcloud) plt.axis("off")
# 按照设置保存到本地文件夹 wordcloud.to_file("./output.png")
|