|
大数据文摘作品，转载要求见文末 作者：Carlos E. Perez 编译 | saint，一针 牛津大学的机器学习先驱Nando de Freitas刚刚在自己的最新推文中推荐了这篇关于“深度学习怪圈”的文章。本文作者将人类自我认知的怪圈与深度学习的算法怪圈相联系，“自我创造”这一似乎是“人类思想”独有的属性，似乎正在成就一些难以置信的深度学习成果。 最终，我们将自我觉知、自我创造，陷入自我参照的小小奇迹幻影中。而这种自我参照的机制，如同描述思想独有的属性。 — Douglas Hofstadter 怪圈是一种循环系统，横贯不同等级的各个层次。通过这种循环，一个人可以追溯他的本源。 无独有偶，被Yann LeCun称为“机器学习在过去的二十年间最酷的想法”背后，最根本的实际上正是这种“怪圈”。 循环在机器学习系统中并不典型，按照惯例，这些系统由不同计算层的无环图构成。然而，我们现在开始发现，采用”反馈循环”能衍生出一种令人难以置信的、新的自动操作。 这可不是夸张，这是今天正在发生的事实。研究者们正在训练“精确的”的智能系统，以期创造出在同领域内能力远超于人类的专业自动化。 我第一次知道深度学习系统中使用反馈回路是有效的，是在“梯形网络”里。梯形网络在很早之前就被采用了，可以追溯到 2015年7月！（查看：https:///abs/1507.02672v2）下图为其结构示意。 图片来源：https:///abs/1511.06430v4 Deconstructing the Ladder Network Architecture 梯形网络是上下穿梭计算层的单循环回路，后边跟了一个终极单向通道。这套系统从回路部分搜集信息，它被采用之后展示了非常不错的收敛数。这在2016年中的一篇论文中有原始研究人员的进一步讨论： https:///pdf/1606.06724v2.pdf 标记:无监督深度学习感知分组 如果你将好几个梯形网络串在一起就能形成一个大的网络，它能够将图像中的物件分组。 对抗生成网络（GAN）也有它自己的循环回路，但是在结构中看不出来，而是隐藏在它的训练当中。GAN的训练过程中包含了对合作和对抗网络的训练，这涉及了一个生成网络和一个辨别网络。辨别网络想方设法将生成网络生成的数据进行分级；生成网络则是想方设法寻找欺骗辨别网络的数据，最终生成器和辨别器的鲁棒性都得到了提升。GAN可以说在某种程度上达到了图灵测试的要求，是当前最好的图片生成模型。 我们基本可以肯定有一种反馈机制，以生成器利用神经网络（辨别器）生成更智能的结果（例如，更真实的图形）这一形式而存在。有很多GANs生成真实图形的案例。无论如何，由于梯形网络，现在有更新的结构在促使GANs改变。 图片来源：https:///abs/1612.04357v1 Stacked Generative Adversarial Networks |
|
|
