深度学习是机器学习中一种基于对数据进行表征学习的方法,作为当下最热门的话题,谷歌、Facebook、微软等巨头纷纷围绕深度学习做了一系列研究,一直在支持开源深度学习框架的建设。 过去一年间,在这些巨头的加持下,深度学习框架格局发生了极大改变:新框架横空出世,旧的框架也逐渐退出历史舞台,而框架与框架之间的联系也更加紧密,生态更为开放。这一年,AI研习社也在时刻关注着这些发展和变化,下面这些话题,每一个都引起了开发者此起彼伏的讨论:
接下来,我们会盘点上述机器学习框架之间的重大发展和改变,以飨读者。 Facebook 开源 PyTorch,以风起云涌之势占领开发者社区 2017 年初,Facebook 在机器学习和科学计算工具 Torch 的基础上,针对 Python 语言发布了全新的机器学习工具包——PyTorch。PyTorch 实际上是 NumPy 的替代,它支持 GPU,有着更高级的功能,可以用来构建和训练深度神经网络。一经发布,它便受到广泛关注和讨论。经过将近一年的发展,目前 PyTorch 已经成为从业者最重要的研发工具之一。 年初发布 PyTorch 时,Facebook 曾表示,「它有望辅助、或在一定程度上替代现有的 Python 数学库(比如 NumPy)。」目前来看,PyTorch 的使用越来越广泛,这一预言成为现实。 在众多开发者眼中,PyTorch 是 TensorFlow 之外一个非常好的选择。 以下为 PyTorch 主要优势:
GitHub 地址:https://github.com/pytorch/pytorch TensorFlow 遇强敌,引入动态图机制等多个更新 TensorFlow 是 Google 于 2015 年底推出的深度学习框架。过去两年间,它在开发者社区享有盛誉,目前已成为最为常用的深度学习框架。它的功能全,社区好,因此使用率也一直稳定保持领先。而随着 PyTorch 等框架的横空出世,因为文档和接口混乱,使用繁琐等缺点,TensorFlow 广受诟病。 在 2017 年,开发团队不断为 TensorFlow 引入新的功能:年初发布 TensorFlow 1.0,实现对 Keras 的全面支持;年底引入 Eager Execution 动态图机制,让开发变得更加简单和直观。 以下为 TensorFlow 被大家广为称赞的优点:
此外,TensorFlow Serving 支持高性能的服务器端部署,可以支持用户轻松地换用模型而不会降低服务性能。 另外,它在年底引入 Eager Execution——一种命令式、由运行定义的接口,一旦从 Python 被调用可立即执行操作,这使得 TensorFlow 的入门学习变得更简单,也使得研发工作变得更直观。 GitHub 地址:https://github.com/tensorflow/tensorflow Theano 完成历史使命,功成身退 作为深度学习框架中祖师级的存在,由 Yoshua Bengio 主导的 Theano 在完成自己的历史使命之后,退出历史舞台。 据AI研习社了解,Theano 基于 Python,是个擅长处理多维数组的库(这方面类似于 NumPy),它的设计初衷是执行深度学习中大规模神经网络算法的运算。大家可以把它理解为一个数学表达式的编译器:用符号式语言定义你想要的结果,该框架会对你的程序进行编译,来高效运行于 GPU 或 CPU。 在过去的很长一段时间内,Theano 都是深度学习开发与研究的行业标准。比起深度学习库,它更像是一个研究平台,需要开发者从底层开始做许多工作,来创建自己需要的模型。Theano 早期的开发者有 Yoshua Bengio 和 Ian Goodfellow,由于出身学界,它最初是为学术研究而设计。 对于 Theano 的退出,有开发者这样评价,「它开启了基于符号运算的机器学习框架的先河,然后随着 TensorFlow 和 PyTorch 的崛起,完成自己的历史任务。」 Bengio 在告别邮件中表示:
Theano 虽然已经停止更新了,但基本上所有的框架都参考过 Theano,它并不算彻底消失。 GitHub 地址:https://github.com/Theano/Theano Facebook 联手微软推出 ONNX 标准,共筑开放 AI 生态 2017 年 9 月,Facebook 联手微软发布了一个全新的开源项目——ONNX(Open Neural Network Exchange),欲借此打造一个开放的深度学习开发工具生态系统,让不同的神经网络开发框架做到互通互用。目前,CNTK,PyTorch , Caffe2,MXNet 已宣布支持 ONNX。 为何要共同打造 ONNX 开放平台? 目前的开发现状如下:大体上,每个框架都会针对某个特定属性进行优化,比如训练速度、对网络架构的支持、能在移动设备上推理等等。在大多数情况下,研发阶段最需要的属性和产品阶段是不一样的。而在任意一个框架上训练的神经网络模型,无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。这导致效率的降低以及进度延迟。 而借助 ONNX,开发者能实时跟踪某个神经网络是如何在框架上生成的,接着,使用这些信息创建一个符合 ONNX 标准的通用计算图。大家能更方便地在不同框架间切换,为不同任务选择最优工具。使用支持 ONNX 表示方式的框架,大幅简化了切换过程,让开发者的工具选择更灵活。 GitHub 地址:https://github.com/onnx/onnx 微软基于 CNTK,推出 CNTK 2 2016 年初,微软开源 CNTK 深度学习工具包。作为语音识别领域声名卓著的开发工具,CNTK 具有相当不错的可扩展性、速度和精确性。 2017 年 6 月,微软在 GitHub 上放出了 CNTK 的第一个候选(RC)版本,完成内测。在 Blog 中,微软表示,CNTK 是一个针对深度学习的系统,可以用来加速诸如语音、图像识别以及搜索相关性(search relevance)等领域相关研究,并可运行于 CPU 或英伟达 GPU。此外,CNTK 既可本地运行,也可在云端基于 Azure GPU 运行。 在 6 月更新的这一版本中,Layers 算法库得到了大幅升级。大量的通用「layers」已预定义,使编写包含标准层级的简单网络变得十分容易。新的 Cognitive Toolkit 评估算法库在易用性和性能上也得到大幅升级。 此后,在 2.0 的多个 Beta 和 RC 版本中,微软逐步更新了 CNTK 对 Python、C++、C#、Java 等的 API 支持,对 Keras 的后端支持等新功能。在 2.1 中,cuDNN 版本升级到 6.0,支持 Universal Windows Platform。在 2.2 中,微软又做了许多模型支持相关的改进。 在 2017 年底的 2.3 版本中,又有如下几个改进:提供了对 ONNX 标准的更好支持,分布式训练支持切换到 NCCL2,改进了 C# API 的支持,增加了网络优化 API,以及更快的稀疏 Adadelta。 GitHub 地址:https://github.com/Microsoft/CNTK Keras 2 带来惊喜,与 TensorFlow 联系更加紧密 Keras 是一个崇尚极简、高度模块化的神经网络库,于 2015 年 3 月发布。 2017 年 3 月,keras 迎来全新版本——Keras 2。Keras 开发人员此前在博客中表示,他们更愿意人们将 Keras 视为一种通用的 API 规范,而不仅仅是一个代码库。当时,开发人员将此前的 Keras 实现归结为两个大类:
3 月的版本中,最重要的一项内容就是增强了 Keras 与 TensorFlow 的逻辑一致性。另一项重要更新就是 API 的变化。他们重新设计了绝大部分 API,为将来的扩展和更新预留了充足的修改空间,并且新设计的 API 完全兼容于谷歌 TensorFlow 规范。 而在 2017 年 8 月,Keras 又做了如下几点更新:修复漏洞,性能提升,文件改善,为在 TensorFlow 的数据张量(比如 Datasets, TFRecords)上训练模型提供了更好的支持,提升 TensorBoard 用户体验,提升测试覆盖范围。此外,还迎来两个重大变化:一是让约束管理(constraint management)基于变量属性;二是把层和模型中已经不再使用的约束属性移除(不会影响任何用户)。 GitHub 地址:https://github.com/keras-team/keras 微软携手亚马逊推出 Gluon 深度学习库,全面支持符号式和命令式编程 2017 年 10 月,微软携手亚马逊推出全新 Gluon 深度学习库。它是一个支持符号式和命令式编程的 API,在创造深度学习模型的过程中能极大的简化进程,而不会使训练速度减慢。据悉,Gluon 能让开发者更简单的学习、规定和调试深度神经网络,也可以让接下来的迭代和保持更加简单,也支持开发作者快速构建和训练神经网络。目前 Gluon 已全面支持亚马逊 MXNet,接下来也将支持 CNTK,主要的亮点如下:
GitHub 地址:https://github.com/gluon-api/gluon-api/ 背靠亚马逊,MXNet 继续改进 MXNet 由华盛顿大学和卡内基梅隆大学的研究人员联合发起,2016 年底,它被 Amazon AWS 选为官方深度学习平台。 它的作者李沐曾表示,
在 2017 年,开发人员一直在不断改进和优化该框架,目前 MXNet 已经迎来 1.0.0 版。 MXNet 于 2017 年 8 月加入了动态图接口 Gluon,于 2017 年 11 月加入 ONNX 开放体系。 MXNet 主要有如下 3 方面的优势:
GitHub 地址:https://github.com/apache/incubator-mxnet Intel 开源 Coach,用于训练和评估增强学习 Agent 2017 年 10 月,英特尔开源增强学习框架 Coach。该框架利用多核 CPU 处理能力,用于训练和评估增强学习 Agent。 Coach 包含许多 Agent 类型的实现,包括从单线程实现到多线程实现的无缝转换。Agent 以模块化方式实现,以允许重用不同的构建块来构建新的和更复杂的代理。此外,Coach 可以在单个任务的基础上编写新的 Agent,并切换到同步或异步的多任务实现,并进行最少的更改。 它的主要特点如下:
GitHub 地址:https://github.com/NervanaSystems/coach 针对移动终端,Facebook Caffe2 VS 谷歌 TensorFlow Lite 2017 年 4 月,Facebook 开源深度学习框架 Caffe2。根据官网介绍,它最大的特点就是轻量、模块化和扩展性好。Caffe2 可以方便地为手机等移动终端设备带来 AI 加持,让 AI 从云端走向终端。 据 Caffe2 官方博客表示:
而 Caffe2 正是这样一个框架。它是在此前流行的开源框架 Caffe 基础上的重构和升级,一方面集成了诸多新出现的算法和模型,另一方面在保证运算性能和可扩展性的基础上重点加强了框架在轻量级硬件平台的部署能力。 GitHub 地址:https://github.com/caffe2/caffe2 2017 年 11 月,谷歌发布 TensorFlow Lite 预览版,与 Caffe2 类似,这款框架针对移动和嵌入式设备等。TensorFlow Lite 是一种全新的设计,具备如下三点特性:
TensorFlow Lite 支持 Android 神经网络 API(Android Neural Networks API),当加速器(硬件设备)不可用时,TensorFlow Lite 会返回到 CPU 来执行,它目前支持很多针对移动端训练和优化好的模型,如 MobileNet,Inception v3,Smart Reply。 开发人员也表示,TensorFlow Lite 应该被看作是 TensorFlow Mobile 的升级,它的功能有很多,目前仍处于紧锣密鼓的开发阶段。 地址:http:///mobile/tflite |
|