Ps:经历两个多月家里的麻烦事,泛舟终于又有空更新了。 起因是之前帮一个朋友做一个企业网站,没有啥功能,单纯的展示和发布信息。其实是很简单的事情,随便下载个个人博客源码,改一下,以为就可以了,但是。。。。他要把公众号里的历史信息全部搬到网站上,如果手工一篇一篇复制,那也是及其痛苦的事情,于是泛舟只能用爬虫了。 Ps:本文用51cto的公众号做例子. 好消息是,要的是文章内容,不是点赞数和阅读数,可以免去好大的麻烦。 那么这个任务的目的很简单,复制公众号上的文章,然后粘贴到网站里面。具体需要什么内容呢?安装好网站,然后进入后台,添加文章那里看到: 文章标题,文章作者,文章来源,缩略图,文章描述,文章内容,都是我们需要的内容.其实很好找,除了具体文章内容,其他基本在公众号的历史消息页全部都有了. 就是用爬虫把公众号的所有历史文章都爬下来。然后根据连接,再爬具体网页内容.分两步处理,其中关键是如何爬取历史信息. 需要用到抓包工具Fiddler,思路是这样的: 打开Fiddler软件,清除所有Sessions, 微信电脑版打开需要抓取的公众号历史消息页, 向下滚动,大于10条消息,就是等它加载出二页,转到Fiddler查看 这个就是我们需要的地址,直接点开用浏览器查看,红圈就是关键,我们要修改的参数. 得到这个连接以后,就是已经成功一半了,下一篇文章继续具体的代码. 感谢各位的阅读,望勿喷! |
|