【原】相得益彰！提升模型闭集分类精度即可提升开集检测的准确率（ICLR 2022 oral）

• 论文链接：https:///abs/2110.06207

• 项目链接：https://github.com/sgvaze/osr_closed_set_all_you_need

      01      

摘要

本文是 ICLR 2022 的一篇开集检测（OSR）文章（oral），探讨了闭集分类器性能与开集检测性能间的高度相关性，并且提出只需要提升类内分类器的精度，即可提升开集检测的精度。并在标准OSR基准以及大规模ImageNet评估上进一步展示了这一特性。

如上图所示，通过微调Baseline模型，提升其闭集准确率，可使其在OSR检测上达到SOTA性能。

主要贡献：

1. 提出一种新的开集检测思路，只需提升模型的闭集分类准确率即可提升其在开集检测上的精度。

2. 提出并验证了开集检测与闭集检测之间的高度相关性（正相关）。

3. 在公开数据集上进行了验证，并且取得了sota性能。

      02      

方法

2.1.闭集与开集检查关系验证

如上所示，作者选取了两个模型（Baseline：MSP，近期Sota：ARPL）以及五个公开数据集（MNIST、SVHN、CIFAR10、CIFAR50、TinyImageNet）来验证闭集分类精度与开集检测精度间的关系，可以看出，开集检测精度与闭集分类精度大致呈线性关系。随着模型在闭集检测上的精度提升，其在开集检测上的精度也提升。

2.2.GOOD CLOSED-SET CLASSIFIER：

作者基于MSP模型以及TinyImageNet数据集做了分组实验，通过微调参数（如更长的训练、更好的数据增强、标签平滑等），使得MSP在TinyImageNet的闭集分类器上精度逐步提升，同时测得各模型的开集检测精度。

由上图可看出，随着MSP在闭集上的精度提升，其对应的开集检测AUROC指标也逐步提升。

      03      

实验

在5个公开数据集上进行了测试

实验效果

如上表所示，基于Baseline模型MSP进行闭集训练优化，使其在开集检测上的性能与Sota（ARPL+CS）性能接近。

SEMANTIC SHIFT BENCHMARK

此外，作者还提出了一个新的OSR Benchmark，基于到训练集的语义距离，引入大规模的类别转移评估方法。具体来说，为闭集指定原始的 ImageNet-1K 类，并从 ImageNet-21K-P 中选择开集类。

根据开集数据与闭集数据的相似程度来划分难度，将数据分为了：easy、medium、hard三类。

      04      

结论

证明了开集识别任务中模型的闭集和开集性能之间的强相关性。利用这一发现，我们已经证明：可以使用测试时的最大logit得分（MLS）来提升闭集分类器与现有最先进的方法竞争或优于现有最先进方法。此外，本文还提出了一个新的“语义转移基准”，将语义转移与其他低级分布转移隔离开来。

END

加入「计算机视觉」交流群👇备注：CV