【原】零标签语义切分的自训练研究

重磅干货，第一时间送达

小黑导读

论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。

摘要

在深度学习中，能够分割在训练中没有观察到的未见的类是一个重要的技术挑战，因为它有可能减少语义分割所需的昂贵注释。先前的零标签语义分割工作通过学习视觉语义嵌入或生成模型来完成这一任务。然而，由于没有训练信号，它们容易对所见的类进行过拟合。在本文中，作者研究了具有挑战性的广义零标签语义分割任务，其中模型必须在测试时分割可见和不可见的类。作者假设没有被标注的类像素可以出现在训练图像中。作者的想法是通过对未标记像素使用自己生成的伪标签来监督模型来捕获未显示类上的潜在信息。作者提出了一种一致性正则化算法，通过对同一幅图像进行不同增强后生成的伪标签的交集来过滤噪声伪标签。作者的框架生成伪标签，然后用人工注释和伪标签数据重新训练模型。这个过程重复了几次。因此，作者的方法在具有挑战性的广义零标签语义分割设置中，在PascalVOC12和COCO-stuff数据集上达到了最新水平，超过了其他现有的方法以更复杂的策略解决这个任务

代码链接：https://github.com/giuseppepastore10/STRICT

论文创新点

作者的主要贡献是:

(a)作者设计了一个自我训练管道，以获得对GZLSS中未标记像素中未可见类的强大监督。关键组件是一个伪标签生成器，它强制数据扩展的一致性约束;

(b)作者表明，通过这种过程调整的模型逐步提高了其预测未可见类的能力，从而提高了伪标签的质量。

(c)作者广泛分析了作者在PascalVOC12上的方法，包括背景数据集和COCO-stuff数据集，表明作者的模型在GZLSS中是最先进的。

框架结构

作者的STRICT模型的概述

实验结果

(a)当背景被忽略时，用STRICT为PascalVOC12生成的伪标签。

(b)当包含背景时，用STRICT为PascalVOC12 unseen类生成伪标签。

STRICT的mIoU随着迭代微调步骤的次数i

在忽略背景的情况下，使用原SPNet和ZS5对PascalVOC12进行严格的定性结果。

结论

在本研究中，作者提出了一种自我训练的方法来学习模型，通过利用它们的语义表示来分割训练集中没有标注的类。作者的自我训练管道简单、健壮且高度可扩展，因为它依赖于模型预测同一图像的不同增强版本之间的一致性标记的能力，以过滤生成的伪标签，并依赖于伪标签生成器的迭代强化。作者在两个常用的语义切分基准上证明了这种方法的有效性，作者得到了在GZLSS中应用这种简单的考虑比其他更复杂的策略的性能要好。

论文链接：https:///pdf/2104.11692.pdf

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。