零基础学习python爬虫必须经历的三个阶段

本次推荐的学习路线是给想学习python网络爬虫的童鞋提供一套标准学习计划、学习体系的专题课，完全从零基础设置，有其他语言编程经验学起来更为轻松，按照Python编程->python爬虫->框架应用->多线程与分布式高效爬虫的学习路径学习，同时掌握ip池、验证码、伪装头等常见防爬破解技巧。在网络包爬取之后，对数据的结构化处理与存储也提供了解决方案。算是一套非常系统简练的爬虫学习路线的课程了。

第一阶段.Python基础与爬虫，建议学习周期为15天

学习重点 : 第一阶段学习后基本可以面对一般的数据爬取需求，Python基础需要掌握python的安装配置，开发环境的搭建，需掌握windows 与linux两个系统的环境搭建，理解并掌握其数据结构、函数、变量、循环与面向对象等编程的必备基础，爬虫需要掌握urllib2包的使用，Python2.7与Python3.4使用方法基本相同。

掌握json包解析方法，字段定位等，bs4包可以解析html、xml等结构化文档数据，需要掌握其解析方法。爬虫技术的一个重要的工作是分析网站结构与请求信息，这才是我们编写程序的前提，需要重点研究学习。

目录：

01.Python基础 22课

02.Python爬虫基础 21课

03.Python爬虫系统开发 50课

第二阶段.Scrapy框架与实战，建议学习周期为10天

学习重点 : 重点是掌握一些高级技巧，例如ip池、伪装头、验证码等特殊情况的处理方法，能够使用多线程与分布式的技术提高数据爬去效率，适合大数据场景使用，还需掌握Scrapy框架开发高可用的爬虫系统。在数据爬取过程中会遇到各种特殊情况，需要多动手，多动脑解决。可以在技术交流群一起探讨。

目录：

01.Python爬虫之XPath多线程 13课

02.python爬虫Scrapy框架应用 18课

03.python分布式高效爬虫应用 13课

总结：作者在工作过程中碰到的实际需求，经过网站数据流的分析，数据接口都是基于json格式，分析过程在论坛可以搜索到，代码、软件和数据库都在里面，适合做文本挖掘，做用户分析使用，数据都是html格式所以重点使用bs4包来处理。同时为用户长期学习提高，准备了基本我个人非常喜欢的电子书，大家有必要读一下。