分享

【每周CV论文推荐】GAN与VAE的结合,有哪些必读的论文?

 有三AI 2022-09-06 发布于北京

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

VAE和GAN是两类最具有代表性的生成式模型,其中VAE是典型的显式生成模型GAN是典型的隐式生成模型,两者的结合又可以产生什么样的火花呢,本次我们来介绍其中值得阅读的文章。

作者&编辑 | 言有三

1 VAE论文

基本的GAN模型大家还是比较熟悉的,而变分自编码器(Variational Auto-Encoder,简称VAE)有许多朋友可能并不熟悉,因此大家还需要先了解其基本原理,阅读原始论文。

文章引用量:22000+

推荐指数:✦✦✦✦

[1] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.

2 对抗自编码器

Adversarial Autoencoders的核心仍然是利用一个生成器G和一个判别器D进行对抗学习,以区分real data和fake data,但是差别在于这里需要判别真假的data并不是自然图像,而是一个编码向量z,对应的real data和fake data分别由autoencoder中的encoder和一个预定义的随机概率分布生成,最后用于image generation的网络也并非是之前的生成器G,而是autoencoder中的decoder。

文章引用量:2400+

推荐指数:✦✦✦✦

[2] Makhzani A, Shlens J, Jaitly N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv:1511.05644, 2015.

3 ALI与BiGAN

Adversarially Learned Inference(简称ALI)与Adversarial feature learning(简称BiGAN)类似,GAN中的生成器实现了从Latent向量空间z到图像空间x的转换,ALI和BiGAN模型则添加了图像空间x到Latent向量空间z的转换。判别器不仅需要学习区分生成的样本和真实的样本,还需要区分两个不同的数据和潜在变量联合分布。

文章引用量:3000+

推荐指数:✦✦✦✦

[3] Dumoulin V, Belghazi I, Poole B, et al. Adversarially Learned Inference[J]. arXiv: Machine Learning, 2016

[4] Donahue J, Krähenbühl P, Darrell T. Adversarial feature learning[J]. arXiv preprint arXiv:1605.09782, 2016. 

4 VEEGAN 

VEEGAN是一个用于减少GAN模型训练过程中过拟合程度的框架,它通过额外添加的Autoeencoder损失来实现,其损失是一个两个联合分布(真实数据与编码器输出,噪声向量与生成器输出)的KL散度。

文章引用量:500+

推荐指数:✦✦✦✦

[5] rivastava A, Valkov L, Russell C, et al. Veegan: Reducing mode collapse in gans using implicit variational learning[J]. Advances in neural information processing systems, 2017, 30.

5 AVB

Adversarial variational bayes(简称AVB)采用对抗学习的方式来训练变分自编码器,可以任意的使用复杂的推理模型,能够学习丰富的后验分布,并证明该模型能够为复杂的数据集生成样本。

文章引用量:500+

推荐指数:✦✦✦✦✧

[6] Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[C]//International conference on machine learning. PMLR, 2017: 2391-2400.

 

6 AGE

ALI包含了编码器,解码器和判别器,但是有研究表明,没有判别器也是可以的,这就是Adversarial Generator-Encoder Networks,可以减少模型的总体参数量,与ALI模型和VAE模型进行了对比,相比于VAE拥有更好的细节,相比于ALI则拥有更精确的重建结果。

文章引用量:100+

推荐指数:✦✦✦✦✧

[7] Ulyanov D, Vedaldi A, Lempitsky V, et al. It Takes (Only) Two: Adversarial Generator-Encoder Networks[J]. arXiv: Computer Vision and Pattern Recognition, 2017.

总结

本次我们简单介绍了GAN与VAE结合的一些研究,这是两类非常具有代表性的生成模型,对于从事图像生成相关领域的朋友,是必须掌握的基础内容

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多