|
【导读】深度学习的出现让许多机器学习从业者将目光从Spark等大数据计算框架转移到了TensorFlow、PyTorch等深度学习框架上。然而，大数据框架与深度学习框架并不是相互排斥的关系，它们之间有很好的结合。本文介绍一些大数据框架与深度学习框架的结合体。 TensorFlowOnSpark 简介：Yahoo的TensorFlowOnSpark可以让你在Spark集群上使用TensorFlow，也就是说，你可以利用Spark充分利用集群中大量机器的资源，同时可以利用TensorFlow使用节点中GPU超强的计算能力。 项目地址： https://github.com/yahoo/TensorFlowOnSpark 文档地址： https://github.com/yahoo/TensorFlowOnSpark/wiki CaffeOnSpark 简介：同样也是Yahoo出品的开源软件，与TensorFlowOnSpark类似，只不过使用的深度学习框架是Caffe。 项目地址： https://github.com/yahoo/CaffeOnSpark 文档地址： https://github.com/yahoo/CaffeOnSpark/wiki elephas 简介：在Spark上使用Keras。相对于TensorFlow、PyTorch，Keras具有相对简单易用的接口和各种工具类，更适合开发人员使用。elephas使得大数据工程师可以方便地在自己熟悉的Spark中使用容易上手深度学习框架Keras。 项目地址： https://github.com/maxpumperla/elephas 文档地址： http:///elephas/ Deeplearning4j 简介：Deeplearning4j由一个叫Skymind的小公司发起，后被加入Eclipse开源软件。虽然它难用、不灵活、不适合做模型迭代，但是Deeplearning4j是深度学习生态圈中屈指可数的几个用Java编写的框架之一，另外，它原生支持在Spark中运行。对于数据量大、模型相对固定且不需要复杂科学计算流程的任务，Deeplearning4j是一个不错的选择。 项目地址： https://github.com/deeplearning4j/deeplearning4j 文档地址： https:///documentation BigDL 简介：BigDL是另一个Java生态圈中的深度学习框架，原生就有Spark支持。相对于Deeplearning4j，BigDL具有更为强大的开发团队支持，它是由Intel发起的开源项目。BigDL的目标之一就是充分利用大规模集群中的Intel CPU，这也是它的弱点之一：没有GPU支持。 项目地址： https://github.com/intel-analytics/BigDL 文档地址： https://github.com/intel-analytics/BigDL/wiki |
|
|
来自： LibraryPKU > 《机器学习》
