分享

使用好镜像源,把等待的时间转为生产力

 进击的Grey 2023-11-27 发布于广东

Python的集成包大家都知道使用anaconda非常方便,它有一个非常好用的工具包管理功能——conda。Conda的具体特性和功能可以参考之前的文章:学习 Conda 的高级特性(上)学习Conda高级特性(下) 。使用conda和虚拟环境管理,可以使我们快速安装需要的工具包并在不同的python版本之间切换。但是conda安装有一个非常大的问题,一度让我放弃使用,那就是conda 的源服务器在境外。

第一次对安装python包抓狂是出现在安装深度学习框架caffe时,为了安装它所要求的环境包,我在电脑前整整折腾了一个通宵:寻找安装包….几十秒过去——下载速度几k到几十k——然后丢失链接,失去速度——删除缓存——重新打入命令寻找按照包。最终我也没有把这些总计300M的包安装完成。

同样的问题也出现在pip、mac环境的homebrew、ubuntu环境的apt-get、npm等管理工具中,同学们发现一个很好使用的工具,却在安装等待中把精力消磨殆尽。

后来,在几个月前我无意中发现了anaconda 的镜像源,之前比较常用的镜像源也只是分布在homebrew和ubuntu中。

过程,以anaconda为例:

1、打开https://mirrors.tuna./或搜索“清华大学tuna”,点击右下部分的使用帮助。

2、可以看到左边的列表有很多管理工具,下拉选择你想要的镜像源,这里以anaconda为例

3、按照帮助文档,在终端里复制以下代码

conda config --add channels 'https://mirrors.tuna./anaconda/pkgs/free/'
conda config --set show_channel_urls yes

4、Mac和ubuntu一般情况下不会有问题,使用conda install numpy测试速度即可。Windows下就需要注意了,找到 “C:\Users\xxx\.condarc” 文件,xxx代表你的windows帐户,对比里面的内容并修改为以下内容:

channels:
  - "https://mirrors.tuna./anaconda/pkgs/free/"
  - defaults
show_channel_urls: true

镜像源的使用大致相同,同样还有很多比如中科大、阿里、网易等制作的镜像源,一步修改后,下载速度就会跑满你的带宽,再也不用纠结于梯子的速度和流量了,把时间和精力放在开发上吧。

特定版本的python和安装包之间的适配也是个问题,在这推荐一个针对windows环境下的python包下载网站:http://www.lfd./~gohlke/pythonlibs/,许多用pip和conda不能正常安装的包,在这里都有他们适配封装的。比如我用的 opencv_python-3.1.0+contrib_opencl-cp35-cp35m-win_amd64就集成了opencv3.1以及contrib辅助包,不需要我再自己去编译opencv和contrib了;GDAL-2.0.3-cp35-cp35m-win_amd64可以使用python3.5导入,而之前各种版本不是不能安装,就是自己编译后只能在python2.7环境下导入。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多