爬虫

Python爬虫的应用

当我们需要收集数据，并且利用数据去做进一步的分析动作时。选项一是花大量时间一个个地手动把数据复制粘贴到Excel表格中，选项二是用Python爬虫。

• 如果我们只有一点点数据，想要做个简单的表格的话，用复制粘贴的传统方式没有问题。

• 但现实中，凡是能够用来做分析的，都需要海量的数据。这时候如果还用选项一的方法，你怕是要复制粘贴到手抽筋。

• 人生苦短，你需要Python。

• 比如，在找工作的时候，不知道自己还缺什么条件，不知道什么岗位更有“钱途”，与其迷失在招聘网站里，不如来一波爬虫。

• A君在找工作的时候，为了更加了解行业与薪酬对应关系，他写了个Python爬虫程序来爬取智联招聘的信息，并且分析出在这个行业的平均月薪，以及工作年限与工作薪酬的关系。

• 稍微再用Python做一下数据分析，让人眼花缭乱的数据就摇身一变成为了一目了然的可视化图表：

• 或许你会问：除了工作需求之外，我要爬这么多信息来干什么？爬虫的非工作应用场景广泛吗？

• 何止广泛？简直是泛滥。

• 在我们身边，此时此刻正在浏览的各大网站上，已经密密麻麻地爬满了各种网络爬虫，越是涉及到个人切身利益的地方，越是爬满爬虫。

• 如果网络爬虫的数量能够被可视化，或许是一张密集恐惧症慎入的图，会让你倒吸一口凉气。

• 来看看网络爬虫最经常“光顾”的网站类型是什么。

• 可以看到，网络爬虫最密集的地方，是出行网站。最典型的例子就是12306。

• 为啥爬虫要对12306网站下手？因为要抢票啊！

• 还记得春运前我们紧张地守在电脑前人肉抢票的情形吗？拼网速拼手速，最终拼不过每秒钟对12306撸几千次的爬虫软件。

• 几乎所有的抢票软件在本质上都是爬虫软件。为了反爬虫，铁路部门可以说是操碎了心——甚至搞出了史上最变态的验证码。

• 这验证码并不是为了坑你的，而是为了防爬虫软件。具体的原理，你可以在后面的爬虫课程中学到。

• 同样的操作，在任何需要“抢票”的地方都能实现——演唱会门票、车票、特价机票等等。

• 试想想，你半夜在电脑前蹲点抢票，但别人用一个爬虫软件就把你的票抢走了。而你连票被谁抢了都不知道的话，该多憋屈。

• 关于爬虫的知识都在后续你需要解锁的关卡中，学完基础课和爬虫课后，你也能用Python编写出一个爬虫软件。

• 其实，爬虫还能替你做很多事。比如：用爬虫统计出近年四六级考试的高频词汇、爬一爬淘宝，发现性价比最高的商品、甚至造个爬虫僵尸粉大军帮你抢红包……

• 掌握爬虫后，你会发现常用的有些小程序真没什么大不了的，自己随便用几行代码就能写一个，比如：快递查询。