随着移动互联网的迅猛发展,各类应用如雨后春笋般涌现出来,人们对智能手机依赖度远超过PC电脑。对于移动端APP数据内容采集这方面的需求也越来越 多,而APP数据采集却是一个难点。那么对于移动端APP的内容,利用火车采集工具如何采集呢?1.操作思路:火车采集器可以像采集普通网 站那样采集APP的数据,因为移动APP通过HTTP协议与服务器进行交互的。网页抓取工具火车采集器是抓取HTTP以及HTTPS请求中 的内容。APP也通过这两种请求类型与服务器进行交互的,这需要分析出接口地址及参数的含义。2.步骤1)先将要分析的APP安装到手机上 。2)通过局域网将手机连接到PC。3)打开抓包工具,先选择网络适配器为手机设备对应的项目(一定要选对,否则后面捕获不到数据)。4 )启动监听。在手机上操作APP,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。5)分析抓包工具监听到的HT TP报文(细心+耐心=成功)。3.案例:下面以京东APP为例来介绍具体怎么操作(1)首先手机上要安装了APP,并且将手机与PC连接 传输。(2)打开抓包工具,查看FIDDLER的端口号,例下图:(3)查看本地局域网的固定IP,例下图:(4)在手机中设置代理服务器 ,将端口号以及IP写入。如下图所示:如上图在手机中设置好后,就可以将FIDDLER保持CAPTURING的状态.然后操作京东的AP P,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。具体情况如下图所示:4.然后我们就可以在火车采集器中分析 请求写规则,并测试该HTTP是否可以采集。这样利用网页抓取工具实现APP采集的步骤就基本完成了,大家可以多试几次,增加下操作熟练度 。不过APP和网页一样,我们看不到的数据是采不到的,比如很多人问的后台用户数据如何获取,像是这类信息统统是无法采集的。好啦,今天的 教程就到这里啦,有什么想要提问的盆友们可以在下方留言。我们会综合意见选中提问人数最多的问题开设下一期专题,大家敬请期待呢!PS:( 女神真美啊,小采珍藏私照奉上)有疑问的可以在后台咨询小采或咨询客服。懂技术的小哥哥小姐姐都超帅超美的,真的是很棒呢!图片来源于网络 ,如有侵权,请联系删除感谢您抽出时间来阅读此文做数据采集,我们是专业的! |
|