分享

你觉得可以用python爬虫做哪些有意思的事情?

 梅与牛 2019-12-15

当然是批量下载B站视频啦,主要分为2步,首先爬取视频url地址,然后根据url地址下载视频,下面我简单介绍一下实现过程,实验环境win10+python3.6+pycharm5.0,主要内容如下:

这里为了更好的说明实验过程,以爬取B站的TED演讲为例,如下:

1.首先,爬取视频的url地址信息,B站视频的信息是动态加载的,存储在一个json文件中,所以需要进行抓包分析,按F12调出开发者,F5刷新页面,查看所有抓包信息,如下,可以看到json格式加载的视频信息:

2.接着就是获取上面的json文件,解析这个json文件,提取到我们所需要的视频信息,这里主要是获取到url地址信息,代码如下,主要用到requests和json这2个模块,其中requests用于获取json文件,json用于解析json文件:

运行程序,效果如下,已经成功获取到视频信息:

3.最后就是根据视频url地址批量下载视频了,这里主要用到you-get这个模块,安装的话,直接在cmd窗口输入命令“pip install you-get”就行,基本使用方式“you-get 视频URL地址 -o 视频存放目录”,这里我们直接使用os.system执行这个命令就行,主要代码如下,非常简单:

运行程序,截图如下,已经开始下载视频:

接着打开对应的视频存放目录,就可以看到正在下载的文件,如下:

至此,我们就完成了利用python爬取并批量下载B站视频。总的来说,整个过程非常简单,就是步骤有些繁琐,只要你有一定的python爬虫基础,熟悉一下上面代码,多调试几遍程序,很快就能掌握的,网上也有相关教程和资料,非常丰富详细,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多