新智元编译 来源:www.cs. 作者:Russ Salakhutdinov 整理:刘小芹 【新智元导读】Russ Salakhutdinov 是苹果 AI 研发负责人,CMU 教授,也是著名的机器学习领域大牛。本文是 Russ 有关评估深度生成模型的讲座的 ppt。 新智元327技术大会爱奇艺回播视频链接,请点击阅读原文。 PPT下载:http://www.cs./~rsalakhu/talk_Eval.pdf 本讲结构:
无监督学习→ 非概率模型、概率(生成)模型 Directed vs. Undirected Models 左:Helmholtz Machine / 变分自编码器 右:深度玻尔兹曼机 图模型:是用于表示随机变量之间依赖关系结构的强大框架。 受限玻尔兹曼机 模型选择 生成模型 一般来说,我们应该怎样选择模型? 简单重要性采样 退火重要性采样 退火重要性采样的运行 AIS 是重要性采样 具有几何平均值的RBM Undirected Model 存在的问题 激励:RBM 抽样 运行马尔可夫链(吉布斯采样) 展开的RBM作为深度定向生成模型 Reverse AIS Estimator(RAISE) MNIST 在 MNIST 上训练有 500 个隐藏单元的 RBM 初始分布均匀 Omniglot 数据集 在 Omniglot 上训练有 500 个隐藏单元的 RBM MNIST 和 Omniglot 的结果 DBM(深度玻尔兹曼机)和 DBN(深度置信网络) Decoder-Based 模型:将样本从简单分布转换为数据流 Directed vs. Undirected 模型 左:Helmholtz Machine / 变分自编码器 右:深度玻尔兹曼机 变分自编码器(VAE) VAE:概率有向图模型,使用被称为编码器网络的近似推理模型。 GANs 和 GMMNs GAN:是解码器和鉴别器网络之间的博弈训练的生成模型。 GMMN:采用最大平均差异(MMD)作为训练目标。 退火重要性采样(AIS) AIS:通过引入一个中间分布序列来弥补先验和后验之间的差距。 两个架构,三个模型:VAE、GAN、GMMN AIS 的验证:KDE vs. AIS 在模拟数据上的结果(KDE 使用100万样本) MNIST 结果
<完> |
|