|
ICML 2020 有两篇论文获得杰出论文奖,第一篇来自 NAVIDA 实验室、斯坦福大学与巴伊兰大学，另一篇来自北京理工大学与剑桥大学，是继 2017 年以来中国高校再次获得杰出论文奖。值得一提的是，第二篇文章的第一作者是来自北京理工大学的研二学生魏恺轩。
On Learning Sets of Symmetric Elements
作者：Haggai Maron, Or Litany, Gal Chechik, Ethan Fetaya
机构：NAVIDA 实验室，斯坦福大学，巴伊兰大学
简介：无序集学习是一种基本的学习方式，近年来受到越来越多的关注。这方面的研究主要集中在集合的元素由特征向量表示的情况下，而对于集合元素本身遵循其自身对称性的常见情况则关注得较少。这种情况与许多应用相关，从去模糊图像突发到多视图三维形状识别和重建。本文提出了一种学习一般对称元素集的原则性方法。作者首先刻画线性层的空间，这些层与元素的重新排序和元素固有的对称性都是等变的，比如图像的平移。作者进一步证明由这些层组成的网络，称为对称元素层的深集（Deep set for Symmetric elements layers，DSS），是不变函数和等变函数的通用逼近器。DSS层也很容易实现。最后，在一系列的图像、图形和点云实验中，作者证明了它们比现有的集合学习体系结构有了很大的改进。
Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
作者：Kaixuan Wei, Angelica Aviles-Rivero, Jingwei Liang, Ying Fu, Carola-Bibiane Schönlieb, Hua Huang
机构：北京理工大学，剑桥大学
简介：即插即用（PnP）是一个非凸的框架，它将 ADMM 或其他近端算法与先进的去噪器优先级相结合。近年来，PnP 取得了巨大的实验成功，尤其是结合了基于深度学习的去噪器。然而，基于 PnP 的方法的一个关键问题是它们需要手动调整参数。在不同的成像条件和不同的场景内容方面，有必要获得高质量的结果。在这项工作中，作者提出了一个无需调整的 PnP 近似算法，它可以自动确定内部参数，包括惩罚参数、去噪强度和终止时间。该方法的一个关键部分是建立一个用于参数自动搜索的策略网络，该网络可以通过混合无模型和基于模型的深度强化学习进行有效学习。通过数值实验和可视化实验，我们证明了所学习的策略可以为不同的状态定制不同的参数，并且通常比现有的手工制定的准则更有效。此外，作者还讨论了插入式去噪器的实际考虑，这与所学的策略一起产生了最先进的结果。这在线性和非线性示例性逆成像问题中都很普遍，特别是，在压缩传感 MRI 和相位恢复方面显示了有希望的结果。
Efficiently Sampling Functions from Gaussian Process Posteriors
作者：James Wilson, Slava Borovitskiy, Alexander Terenin, Peter Mostowsky, Marc Deisenroth
机构：伦敦帝国理工学院，圣彼得堡国立大学，圣彼得堡俄罗斯科学院斯特克洛夫数学研究所，伦敦大学学院
简介：高斯过程是许多真实世界建模问题的黄金标准，尤其是在模型的成功取决于它忠实地表示预测不确定性的能力的情况下。这些问题通常作为更大框架的一部分存在，其中感兴趣的数量最终通过对后验分布的积分来定义。这些量通常很难处理，这促使人们使用蒙特卡罗方法。尽管在将高斯过程扩展到大型训练集方面取得了长足的进展，但是从其后验分布精确地生成绘图的方法仍然是在测试位置的数量上按立方体进行缩放的。我们确定了高斯过程的分解，通过从数据中分离出先验信息，自然地有助于进行可伸缩的采样。基于这种因式分解，我们提出了一种易于使用和通用的快速后验抽样方法，它与稀疏近似无缝配对，以在训练和测试时提供可伸缩性。在一系列旨在测试竞争采样方案的统计特性和实际结果的实验中，我们演示了解耦的采样路径如何以比通常成本低一小部分的成本准确地表示高斯过程后验。
Generative Pretraining from Pixels
作者：Mark Chen, Alec Radford, Rewon Child, Jeffrey K Wu, Heewoo Jun, David Luan, Ilya Sutskever
机构：OpenAI
简介：受自然语言无监督表征学习进展的启发，作者研究了相似模型是否可以学习有用的图像表示。作者训练一个序列变换器来自回归预测像素，而不需要加入 2D 输入结构的知识。作者发现，尽管训练分辨率很低且未标注的 ImageNet 图片，但作者发现以线性探测、微调和低数据分类来衡量时，GPT-2 尺度模型学到了很强的图像表示。在 CIFAR-10 上，作者使用线性探针实现了 96.3% 的准确率，优于监督的宽 ResNet，以及 99.0% 的准确率（完全微调），与顶级的监督预训练模型相匹配。在 ImageNet 和 web 图像的混合训练下，一个更大的模型与 ImageNet 上的自监督基准相比具有竞争力，在本文提出的特征的线性探针上达到了 72.0% 的顶级精度。
ICML 时间检验奖表彰了十年前的一篇 ICML 论文，来自加州理工学院，宾夕法尼亚大学，萨尔兰大学的研究小组。该论文已被证明具有影响力，在该领域具有重大影响，“包括研究和实践”。
Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design
作者：Niranjan Srinivas, Andreas Krause, Sham Kakade, Matthias Seeger
机构：加州理工学院，宾夕法尼亚大学，萨尔兰大学
简介：许多应用程序需要优化一个未知的、有噪声的函数，该函数的计算代价很高。作者将此任务形式化为一个多武装 bandit 问题，其中支付函数要么是从高斯过程（GP）采样，要么是具有低 RKHS 范数。我们解决了这个重要的开放性问题，即推导此设置的遗憾界，这意味着 GP 优化的新的收敛速度。我们分析了一种直观的基于上置信度的算法 GP-UCB，并从最大信息增益的角度限制了它的累积遗憾，建立了 GP 优化与实验设计之间的新联系。此外，通过算子谱对后者进行定界，我们得到了许多常用协方差函数的显式次线性遗憾界。在一些重要的情况下，我们的边界对维数的依赖性非常弱。在我们对实际传感器数据的实验中，与其他启发式 GP 优化方法相比，GP-UCB 具有更好的性能。
ICML 官方给出的评价为：“本文通过对高斯过程 bandit 优化的分析，将 Bayesian 优化、bandits 和实验设计等领域结合起来，提出了一种基于互信息增益量的有限样本后悔界的新方法。这篇论文在过去十年中产生了深远的影响，包括方法本身、所使用的证明技巧和实际效果。这些都丰富了我们的社会，激发了从理论到实践的无数后续作品的创造力。”
本届委员会的成员也给予了此篇文章高度评价：
1 “本文的研究结果影响了现代深度学习系统中当前的超参数搜索方法，并且该算法甚至在十年后仍然是一种流行的获取算法。最近的论文中引用了本文的定理和引理，并且他们的研究成果是在后续论文中借用的。从文本的技术深度和影响力来看，这篇论文明显脱颖而出。”
2 “在过去的十年中，贝叶斯优化已成为解决许多机器学习问题的有力工具……证明中使用的数学技术极大地影响了后来的研究。”想要查看更多本次会议的详细信息，可以移步 AMiner 会议智图开放平台 ICML 2020 专题全析图，其内容包括论文、作者、华人学者、一作华人学生、论文 PPT 和视频等多维分析服务，是参会学者的会议智能助理。
|
