发文章
发文工具
撰写
网文摘手
文档
视频
思维导图
随笔
相册
原创同步助手
其他工具
图片转文字
文件清理
AI助手
留言交流
机器之心报道
如今,在 ImageNet 上的图像识别准确率的性能提升每次通常只有零点几个百分点,而来自图灵奖获得者 Geoffrey Hinton 等谷歌研究者的最新研究一次就把无监督学习的指标提升了 7-10%,甚至可以媲美有监督学习的效果。
多个数据增强方法组合对于对比预测任务产生有效表示非常重要。此外,与有监督学习相比,数据增强对于无监督学习更加有用;
在表示和对比损失之间引入一个可学习的非线性变换可以大幅提高模型学到的表示的质量;
与监督学习相比,对比学习得益于更大的批量和更多的训练步骤。
随机数据增强模块,可随机转换任何给定的数据示例,从而产生同一示例的两个相关视图,分别表示为 x˜i 和 x˜j,我们将其视为正对;
一个基本的神经网络编码器 f(·),从增强数据中提取表示向量;
一个小的神经网络投射头(projection head)g(·),将表示映射到对比损失的空间;
为对比预测任务定义的对比损失函数。
随机抽取一个小批量
给每个例子绘制两个独立的增强函数
使用两种增强机制,为每个示例生成两个互相关联的视图
让相关视图互相吸引,同时排斥其他示例
来自: 源源不断 > 《智慧教育》
0条评论
发表
请遵守用户 评论公约
谷歌大脑联手Hinton提出SimCLR新框架,疯狂提升自监督学习性能 | 北邮毕业生一作
谷歌大脑联手Hinton提出SimCLR新框架,疯狂提升自监督学习性能 | 北邮毕业生一作。令人惊讶的是,当对100% 的标签进行微调时,经过预先...
对比学习(Contrastive Learning)在CV与NLP领域中的研究进展
SimCLR:一个典型的负例对比学习方法。所有在损失函数中采用负例的对比学习方法,都是靠负例的Uniformity特性,来防止模型坍塌的,这包...
Hinton新作!越大的自监督模型,半监督学习需要的标签越少
越大的自监督模型,半监督学习需要的标签越少。人们曾经提出一种半监督学习来试图解决这个问题,其中涉及无监督或自监督的预训练,然后...
自我监督学习推进医学影像分类
在”大自我监督模型推进医学图像分类”中,我们将出现在国际计算机视觉大会(ICCV 2021)上,我们研究了自我监督对比学习作为医学图像分...
【深度】从经典深度学习模型探讨图像识别新方向
【深度】从经典深度学习模型探讨图像识别新方向。【导读】1月22日,深度学习工程师George Seif发布一篇文章,主要介绍了一些经典的用于...
logistic回归详解(二):损失函数(cost function)详解
logistic回归详解(二):损失函数(cost function)详解有监督学习。对于logistic回归来说,模型自然就是logistic回归,策略最常用的方法是用一个损失函数(loss function)或代价函数(cost function)来...
聊聊小样本学习中的度量学习策略
聊聊小样本学习中的度量学习策略。度量学习策略是指通过学习一个距离度量函数,将样本映射到一个低维空间中,从而使得相似的样本之间的...
解决训练不稳定性,何恺明团队新作来了!自监督学习+Transformer=MoCoV3
不同于ImageNet监督的ViT(模型变大时精度反而变差),更大的自监ViT可以取得更高的精度。可以看到:(1) 相比其他自监督方法,在相同骨干...
MolCLR | 对比学习在分子图表示任务中大有作为
MolCLR | 对比学习在分子图表示任务中大有作为。为解决上述问题,作者提出了一个用于大型无标记分子库的自监督学习框架:MolCLR,该模型...
微信扫码,在手机上查看选中内容