|
最近经常有人问我，明明看着教程写个爬虫很简单，但是自己上手的时候就麻爪了。。。那么今天就给刚开始学习爬虫的同学，分享一下怎么一步一步写爬虫，直至抓到数据的过程。
准备工具
首先是工具的准备：python3.6、pycharm、requests库、lxml库以及火狐浏览器
这2个库都是python的第三方库，需要用pip安装一下！
requests是用于请求网页，得到网页的源代码，然后用lxml库分析html源码，从中间取出我们需要的内容！
之所以用火狐而不用其他的浏览器，没有别的意思，就是习惯。。。
分析网页
工具准备好以后呢，我们就可以开始我们的爬虫之旅了！今天我们的目标是抓取猫眼电影的经典影片部分，大约有8万多条数据
打开网页后，首先就要分析网页源代码，看是静态的还是动态的，或者其他形式，这个网页呢，是静态的网页，所以，源代码中就有我们需要的内容
很明显，它的电影名字和评分都在源代码中，但是评分被分成了2部分，这点在写爬虫的时候，就要注意了！
那么，现在整体思路就很明确了：请求网页==>>获取html源代码==>>匹配内容，然后在外面在加一步：获取页码==>>构建所有页的循环，这样就可以将所有内容都抓出来了！下面外面来写代码吧。
开始写爬虫
先导入2个库，然后用一行代码获取网页html，在打印一下看看结果
好吧，网站不允许爬虫运行！我们加入headers试一下（headers是一个身份证明，表明请求网页的是一个浏览器而不是python代码），获取方式也很简单，打开F12开发者工具，随便找一个网络请求，然后按下图找到请求头，复制相关信息即可，这个header可以保存下，基本一个浏览器都是一个UA，下次直接用就可以。
注意，在火狐中，header的数据如果很长是会缩写的，看到上图中间的省略号…了吗~所以在复制的时候，要先双击展开，在复制，然后修改上面的代码，在看看
这次，html被正确的打印出来了！（后面的.text是获取html文本，如果不加，会返回是否获取成功的提示，而不是html源码），我们先构建页码的循环，找一下翻页的html代码
点击开发者工具中左上角的选择元素，然后在点击页码，下方会自动定位相应的源码位置，这里我们可以直观的看到最大页码，先取出它来，在其上点右键，选择复制Xpath，然后写到代码中
第9行是表达用lxml中的etree方法解析html，第10行是指从html中找到路径所对应的标签，因为页码是文字显示，是标签的文本部分，所以在路径最后加一个/text()来取出文本，最终取出的内容为列表形式。然后我们在来观察每一页的url，还记得刚才那个页码部分的html吗？
href的值就是每一个页码所对应的url，当然它省去了域名部分。可以看出啦，它的规律就是offset的值随着页码变化（*30）那么，我们就可以来构建循环了！
第10行用[0]取出列表中的pn值，然后构建循环，接着就是获取新的url（pn_url）的html，然后去html中匹配我们要的内容！为了方便，加一个break，这样只会循环一次
然后开始匹配，我们这次只拿出电影名称、评分和详情url3个结果
可以看到，我们所要的内容在dd这个标签下，它下面有3个div，第一个是图片的，先不用管，第二个是电影名称，详情页url也在里面，第三个div中有评分结果，所以我们可以这么写
第14行，依然是解析html，第15，16行分别获取class属性为"channel-detail movie-item-title"的div标签下的title值和div下的a标签的href值（这里没有用复制xpath路径，当然如果可以的话，也建议大家用这种方式，因为用路径的话，万一网页修改一下结构，那我们的代码就要重新写了。。。）
第17，18行，2行代码获取div标签下的所有文本内容，还记得那个评分吗？它不在一个标签下，而是2个标签下的文本内容合并的，所以用这种方式获取！
然后，用zip函数，将内容一一对应的写入txt文件里
注意内容间隔和换行！
至此，爬虫部分基本完成！先来看看效果吧，时间有限，就先抓前5页，代码和结果如下：
后记
整个爬虫过程，没有什么难点，开始需要注意报头信息（headers），后面在抓取数据的过程中，匹配方式也要多学多用，最后注意数据量，2个方面：抓取间隔和抓取的数量，不要对网站造成不好的影响这个是基本的要求！还有就是这个网站到后面，大约是100多页往后的时候，就需要登录了，这点要注意，具体的大家可以自己去尝试哦！
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
三、精品Python学习书籍
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、Python视频合集
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
六、Python练习题
检查学习结果。
七、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
|
