网海拾贝网络猪 / python / 公众号简单爬虫

0 0

   

公众号简单爬虫

2020-02-05  网海拾贝...

Ps:经历两个多月家里的麻烦事,泛舟终于又有空更新了。

起因是之前帮一个朋友做一个企业网站,没有啥功能,单纯的展示和发布信息。其实是很简单的事情,随便下载个个人博客源码,改一下,以为就可以了,但是。。。。他要把公众号里的历史信息全部搬到网站上,如果手工一篇一篇复制,那也是及其痛苦的事情,于是泛舟只能用爬虫了。

Ps:本文用51cto的公众号做例子.

好消息是,要的是文章内容,不是点赞数和阅读数,可以免去好大的麻烦。

那么这个任务的目的很简单,复制公众号上的文章,然后粘贴到网站里面。具体需要什么内容呢?安装好网站,然后进入后台,添加文章那里看到:

文章标题,文章作者,文章来源,缩略图,文章描述,文章内容,都是我们需要的内容.其实很好找,除了具体文章内容,其他基本在公众号的历史消息页全部都有了.

就是用爬虫把公众号的所有历史文章都爬下来。然后根据连接,再爬具体网页内容.分两步处理,其中关键是如何爬取历史信息.

需要用到抓包工具Fiddler,思路是这样的:

打开Fiddler软件,清除所有Sessions,

微信电脑版打开需要抓取的公众号历史消息页,

向下滚动,大于10条消息,就是等它加载出二页,转到Fiddler查看

这个就是我们需要的地址,直接点开用浏览器查看,红圈就是关键,我们要修改的参数.

得到这个连接以后,就是已经成功一半了,下一篇文章继续具体的代码.

感谢各位的阅读,望勿喷!

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。如发现有害或侵权内容,请点击这里 或 拨打24小时举报电话:4000070609 与我们联系。

    猜你喜欢

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多
    喜欢该文的人也喜欢 更多