分享

Scrapy 1.5.0 发布!

 长沙7喜 2018-01-09



1、在 FilesPipeline 和 ImagesPipeline 中增加了Google Cloud Storage 的支持。

2、使用代理服务器进行爬取变得更高效,因为到代理的链接现在可以重用了。

3、警告、异常和日志输出的内容进行了改善,使得debug更容易。

4、scrapy parse 命令现在允许设置自定义的请求头,通过--meta参数。

5、兼容Python3.6,PyPy和PyPy3的兼容性改善;现在官方支持了PyPy和PyPy3,已经通过了CI测试。

6、更好地处理HTTP状态码308、522、524。

7、文档改善。


更新详情地址


https://docs./en/latest/news.html#scrapy-1-5-0-2017-12-29


课程跟进


Python部落(python.freelycode.com)的《一周学会写爬虫课程》会持续跟进更新的情况,陆续更新课程跟进Scrapy的版本更新,请各位学员耐心等待。


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多