|
选自Quora 机器之心编译 参与：Rick、刘婷娜、吴攀
1. 使深度学习更有效的主要瓶颈是什么（在 2016 年）？ 由于三个事物的共同进展，深度学习似乎在最近几年取得了成功：
也就是说要想使深度学习变得更有效，所有这些都还有很长的路要走。
2.Google Brain 的主要招聘渠道是什么？ Google Brain 是一个非常多样化的团队。我们的许多研究人员拥有机器学习背景，并且是该领域的著名专家，比如 Geoffrey Hinton、Samy Bengio 和 Quoc Le。然而，我们也有一些项目会从非机器学习专业领域聘请研究人员和工程师。此类项目的信息来自于目前一些比较特殊的团队成员。我们还有其他一些招聘方式——全职、访问学者、实习生和 Brain Residency 项目。我们在 2016 年启动了 Brain Residency 项目以培养和支持下一代深度学习研究者。 3. 有什么还未建立的对深度学习来说有价值的工具？ 作为一个程序员，我将构建深度学习的模型看作是编程和实验。所有应用于那些领域的工具都与这点息息相关。用于深度学习的 TensorFlow 就像一门编程语言。该生态系统中其余部分的建立还有大量工作要做。 例如更好的调试工具将有助于研究人员了解为什么他们的模型没有在学习，更好的实验管理将使他们能够更容易地运行和分析更多的实验。 4. 深度学习在系统方面最需要的突破是什么？ 正如我在深度学习的瓶颈那个问题中所回答的，我们不可能由于传统的、纯硬件方面的提高而在计算中得到一个 1000 倍的提升，或者甚至是使用更好的软件和通信技术来集成更多的芯片。这需要的是算法和计算的协同设计，例如我们能够用 1000 倍的参数而仅用 10 倍的计算来创建一个模型吗？我认为可以解决问题的稀疏模型以及能够利用这些限制的系统能发挥很大的作用。 按照 GPU 和定制 ASIC 目前的发展状态，这不是大多数团队需要优先考虑的问题，但是由于这各方向的改进开始放慢了步伐，所以我希望看到这方面有更多研究出现。 5. 面对人工智能研究领域出现的无数挑战，Google Brain 团队主要致力于哪些问题？ 我们相信我们所研究的问题将有助于打造出那些能帮助人们的生活的智能机器这个使命。我们目前的一些研究领域包括机器学习算法、机器人、医疗和自然语言理解。有关我们的所有研究领域和文献发表的更多信息可以参看网站 https:///brain。我们通过从这每一领域中挑出那些困难的挑战来追求对机器智能更广泛的理解。 6. 深度学习在视频方面有哪些潜在应用？ 视频在许多方面都很有趣。虽然我们已经运用 ImageNet 的成果在人类的水平上取得了视觉方面的巨大进展，但距离真正的人类视觉还很遥远。部分原因是：
视频有可能解决这两个问题，并帮助机器获得人类的视觉。通过每个相关联视频中的帧序列，它提供了一个看待现实世界更为丰富的视角，允许模型创建一个 3D 的世界视图，而无需立体视觉。此外，所有帧的连续性也允许无监督学习算法不通过标签来提取有价值的图像信息。 应用方面，Google Photos 是一个很好展现更优视觉应用可能的例子。人类在其中花费很多时间执行例行任务的所有领域都是商业游戏的所在之处，例如驾驶（自动驾驶汽车）在今天很受欢迎，但也有许多简单的家庭任务比如整理衣物，由于它过于依赖我们的视觉因而目前还不能实现自动化。 7. 由于昂贵的计算成本需求，我们如何让更多人获得研究深度学习的机会？ 在一个大数据集上从零开始训练一个模型很昂贵。然而大多数人并不需要从头开始。我们目前有一些训练于大数据集之上先进模型，比如人们可以从我们的图片和文本解析开始，然后基于他们自己的数据做出调整。 Pete Warden 有一篇很棒的博文（《TensorFlow for Poets》）展示可以如何实现一个图像模型。我希望在更多领域看到这样的例子，因为我们正在使我们自己的 GitHub 模型库（https://github.com/tensorflow/models）中的模型公开可用，也欢迎我们的用户带来他们的贡献。） 比如来自 Google Cloud ML 中那些处理繁重工作的 API 也将允许很多人使用深度学习方面的成果去打造更智能的应用程序，而不需要训练自己的模型。 8.TensorFlow 从 DistBelief 带走的最有价值的东西是什么？ 现今的深度学习框架有三个关键性要求，我将通过探讨我们如何从 DistBelief 进化到 TensorFlow 来切入这个问题。
9. 如果计算能力能够增加十倍，这将对现今的人工智能研究有何影响？ 正如我在前面的一个回答中所提到的：计算能力将继续作为人工智能进步的瓶颈。 一个实验如果仅需一天而非一周，或者一小时而非一天，那会让我们能完成多少实验、尝试多少新想法啊。这仍然还在研究阶段，许多新想法在获得成功以及推动领域发展之前，仍然需要尝试和提升。拥有更加强大的计算能力可以使得研究者们进行更多同一类型的实验，或者在相同时间内训练更大的模型。 有趣的注释：训练一个模型通常需要一周——这似乎是研究者为了好结果而愿意等待的时间的上限。我相信我们可以利用甚至是 1000 倍的计算能力的提升给人工智能的发展带来重大影响。 刚从斯坦福大学毕业的 OpenAI 研究科学家 Andrej Karpathy 也对该问题进行了回答，这里也随带附上他的答案： 这是一个有趣的思维训练。我喜欢思考阻碍进步的四个因素。
你会注意到计算只是这 4 项中的 1 项。所以我认为如果给我十倍的计算能力，不会有什么重大改变。当我以十倍的速度得到实验结果时，我的迭代周期一定会提升，所以也许我可以提高第三点（开发算法）的速度。我也将可以拓展许多现有实验（但这还不清楚，因为我们的许多模型是受存储限制的），所以一些现有的模型可能会因此给出一些稍好的结果。但我不认为会立即有激动人心的结果发生。 我认为第四点目前是一个较大且较慢的限制因素，这也就是我认为在 OpenAI 工作很激动人心的原因，在这里我们真的可以向其投入资源，以及建立许多专门服务于人工智能的基础设施。最后，第三点是最重要的——即使我拥有所有的计算资源，所有的数据以及梦想中的基础设备，我依旧不知道在上面跑些什么才能得到一个可以思考、说话、学习、探索的人工智能。 10.TensorFlow 多大程度上受到了 Theano 的启发？ 我们从先前 DistBelief 的经验中学到了很多，并将其应用于 TensorFlow。但在重新开始的时候，我们考察了所有现存的深度学习框架，并且我们很多团队成员是那些框架的开发者，包括 Theano、Torch 和 Caffe。其中我们的设计在很多方面与 Theano 最接近：比如，我们如何支持自动微分（auto differentiation）、如何运用符号表达式、以及在基础数学和线性代数的基础上铺设专门的神经网络层。 它们都是十分优秀的框架，我们很幸运能够有机会从其中学习以及推动领域向前发展。 11. 如何将 TensorFlow 运用于计算机视觉？ 我推荐 Pete Warden 的博客 TensorFlow for Poets（https:///2016/02/28/tensorflow-for-poets）作为开始计算机视觉模型开发最好的起点。对于 TensorFlow 新手来说，这是一个绝佳的起点，它能帮助你从安装 TensorFlow 开始直到为一个小的图像数据集制作视觉模型。 12.TensorFlow 用户最大的痛点是什么，以及你认为可以如何解决它们? TensorFlow 用户要求了两点，一是模型实现的集合，二是用以构建模型的更高级的库。我们正在这两点上取得巨大进步。 模型：在我们的社区的帮助下，我们在 GitHub 上有一个愈发壮大的模型集合。此外，TensorFlow 用户和一些研究论文的作者也用 TensorFlow 实现了大量由研究论文提出的模型。这些在 GitHub 上简单搜索一下都能被找到。 库：我们的 tf.learn 正取得长足进步且被广泛使用。此外，Keras 是另一个 TensorFlow 用户经常使用的很好的库。 13. 非美国公民学生可以申请谷歌的 Brain Residency 项目吗？ 可以，我们的现有项目里有许多非美国公民，我们鼓励全世界的申请者申请该项目。详情请参见 Brain Residency 网站：https://research.google.com/teams/brain/residency/ 本文由机器之心编译，转载请联系本公众号获得授权。 ------------------------------------------------ 加入机器之心（全职记者/实习生）：hr@almosthuman.cn 投稿或寻求报道：editor@almosthuman.cn 广告&商务合作：bd@almosthuman.cn |
|
|
