1、在 FilesPipeline 和 ImagesPipeline 中增加了Google Cloud Storage 的支持。 2、使用代理服务器进行爬取变得更高效,因为到代理的链接现在可以重用了。 3、警告、异常和日志输出的内容进行了改善,使得debug更容易。 4、scrapy parse 命令现在允许设置自定义的请求头,通过--meta参数。 5、兼容Python3.6,PyPy和PyPy3的兼容性改善;现在官方支持了PyPy和PyPy3,已经通过了CI测试。 6、更好地处理HTTP状态码308、522、524。 7、文档改善。 更新详情地址 https://docs./en/latest/news.html#scrapy-1-5-0-2017-12-29 课程跟进 Python部落(python.freelycode.com)的《一周学会写爬虫课程》会持续跟进更新的情况,陆续更新课程跟进Scrapy的版本更新,请各位学员耐心等待。 |
|