|
在简单学习了python爬虫后，又想继续折腾，进而找到了这个网易云音乐，因为本人平时就是用它听的歌，也喜欢看歌里的评论，所以就爬网易云音乐评论吧，那么开始吧！ 正式进入主题 首先还是去找目标网页并开始分析网页结构，如下 上面的三个箭头都是所要找的数据，分别是评论用户，评论和点赞数，都可以用正则表达式找出来，接下来继续找怎样找到下一页的数据，还是用开发者工具，但是当点击下一页的时候，网页的url没有变，说明网页是动态加载，所以就不能在当前网页找数据了，应该在他的xhr文件里找，所以点入network看看，然后也点击下一页一看，果然有想要的 看到这里，就兴奋地去敲代码了 一点击运行，结果什么东西都没有，但是他的状态码是200，明显请求成功啊，却没有东西返回，再去network仔细看看这个网页，看到他是个post请求，也看到了需要post两个参数params和ensSecKey 一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的Response，咦，这是个json，不是html结构的，所以需要用到Json库来进行解析 现在开始敲代码吧，先把上面的两个参数复制过来看看。 现在把每条评论的评论用户和点赞数和评论获取出来 可以看到，利用json.loads()方法把数据转成python格式里的字典后就可以把想要的数据取出来了，但是，下一页怎样取？总不能每次都复制粘贴那两个参数吧？那唯一的方法就是不爬了。。怎么可能？我的继续，那我就要进行破解这两个参数了，那好继续看network，因为要加密，肯定要用js进行加密的 看到刚才那个网站的发起者core.js,,然后把它文件下载下来慢慢研究 保存后在经过美化，然后进行查找那个encSecKey参数（ps:JSj'e'tong'yang'de美化网址为www.css88.com/tool/js_bea… 看到window.asrsea()方法有四个参数，先不去管这个函数，先看看他的四个参数是什什，这里没必要去研究那四个参数怎样来的，只需要知道他是什么，那么我们可以加点代码上去让他显示出来，从而利用fiddler来进行调试 加入代码如下
可以分别获取上面的每一个参数，也把那个params获取看看，然后在fiddler上操作如下
完成上面的设置后刷新网页就可以在console上面找到参数信息，如果没有的话这是因为你之前浏览该网页的时候它被缓存了下来，所以要清除缓存文件（在清除浏览器记录里面有）
篇幅较长 ，分几部分发。有兴趣的小伙伴可以关注我。后续文章会补齐。 想学习交流python的，想要python资源的，可以先关注小编，然后私信“Python”，就能获取，你还不心动吗？心动就赶紧发私信 ，获取资源 |
|
|
来自： 遁地的蜘猪侠 > 《Python学习》
