|
对于静态网页，我们只需要访问对应的URL就可以获得全部的数据了，动态网页则没有这么简单。比如以下网站 http://q.10jqka.com.cn/zjhhy/detail/code/M/ 在浏览器中打开，我们可以看到对应的表格数据 在浏览器中，通过翻页按钮，可以查看不同页面的内容 但是你会发现，在翻页的过程中，页面的url并没有发生变化，这说明这个表格中的数据是动态加载的。目前，常用的动态加载技术有以下两种 1. ajax 2. js 通过构建ajax或者js请求，来获得对应的数据。对于这些动态加载的数据，我们就不能只请求网页的url了，而是需要找到上述两种请求的链接，一些简单的动态加载链接，可以通过浏览器的调试工具来快速查找 1. ajax ajax请求通过network选项中的xhr请求来查找，在上述网站进行翻页，可以看到如下如下所示的ajax请求链接 直接用爬虫或者ajax链接，就可以返回对应的数据了。 2. js动态加载 js请求通过network选项中的js请求来进行查找，在下列网站中，其翻页的数据就是通过js请求来动态加载的 https://finance.sina.com.cn/stock/reportch/jinqilin.shtml js请求的示例如下 通过分析请求的url规律，可以帮助我们批量获取对应的数据连接。对于简单的ajax和js请求，通过浏览器调试工具，可以快速的获取数据。 |
|
|
