【原】自我监督学习推进医学影像分类

视频介绍：自我监督学习推进医学影像分类

近年来，人们越来越有兴趣将深度学习应用于医学成像任务，在放射学，病理学和皮肤病学等各种应用中取得了令人兴奋的进展。尽管人们对此感兴趣，但开发医学成像模型仍然具有挑战性，因为由于注释医学图像所需的耗时工作，高质量的标记数据通常很少。鉴于此，迁移学习是构建医学成像模型的流行范例。通过这种方法，首先在大型标记数据集（如ImageNet）上使用监督学习对模型进行预训练，然后在域内医疗数据上微调学习的泛型表示。

其他在自然图像识别任务中被证明是成功的较新的方法，特别是当标记的示例很少时，使用自我监督的对比预训练，然后进行监督微调（例如，SimCLR和MoCo）。在对比学习的预训练中，通用表示是通过同时最大化同一图像的不同转换视图之间的一致性和最小化不同图像的转换视图之间的一致性来学习的。尽管取得了成功，但这些对比学习方法在医学图像分析中受到的关注有限，其功效尚未得到探索。

在”大自我监督模型推进医学图像分类”中，我们将出现在国际计算机视觉大会（ICCV 2021）上，我们研究了自我监督对比学习作为医学图像分类领域内预训练策略的有效性。我们还提出了多实例对比学习（MICLe），这是一种推广对比学习的新方法，以利用医学图像数据集的特殊性。我们对两种不同的医学图像分类任务进行实验：来自数码相机图像的皮肤病状况分类（27类）和多标签胸部X射线分类（5类）。我们观察到，ImageNet上的自我监督学习，以及未标记领域特定医学图像的额外自我监督学习，显着提高了医学图像分类器的准确性。具体而言，我们证明了自我监督的预训练优于监督的预训练，即使将完整的 ImageNet 数据集（1400 万张图像和 21.8K 类）用于监督预训练也是如此。

SimCLR和多实例对比学习（MICLe）

我们的方法包括三个步骤：（1）对未标记的自然图像进行自我监督的预训练（使用SimCLR）;（2）使用未标记的医疗数据（使用SimCLR或MICLe）进一步自我监督的预训练;然后（3）使用标记的医疗数据进行特定于任务的监督微调。

在使用 SimCLR 对未标记的自然图像进行初始预训练后，我们训练模型以捕获医学图像数据集的特殊特征。这也可以用SimCLR来完成，但这种方法只能通过增强来构建阳性对，并且不容易利用患者的元数据来构建阳性对。或者，我们使用MICLe，它使用每个患者病例的潜在病理学的多个图像（如果可用），为自我监督学习构建更多信息性的阳性对。这种多实例数据通常存在于医学成像数据集中 - 例如，乳房X光检查的正面和侧面视图，每只眼睛的视网膜眼底图像等。

给定给定患者病例的多个图像，MICLe通过从来自同一患者病例的两个不同图像中提取两个作物，为自我监督的对比学习构建一个正对。这些图像可以从不同的视角拍摄，并显示具有相同潜在病理的不同身体部位。这为自我监督学习算法提供了一个很好的机会，可以直接学习对视点变化、成像条件和其他混杂因素具有鲁棒性的表征。MICLe不需要类标签信息，仅依赖于基础病理学的不同图像，其类型可能是未知的。

结合这些自我监督的学习策略，我们表明，即使在竞争激烈的生产环境中，我们也可以在皮肤病学皮肤病分类的前1准确性方面获得6.7%的显着收益，在胸部X射线分类上平均AUC提高1.1%，优于在ImageNet（训练医学图像分析模型的现行协议）上预先训练的强大监督基线。此外，我们表明，自我监督模型对分布转移具有鲁棒性，并且只需少量标记的医学图像即可有效学习。

监督和自我监督预训练

的比较 尽管简单，但我们观察到，在不同的预训练数据集和基本网络架构选择下，使用MICLe进行预训练比使用SimCLR进行预训练的原始方法一致地提高了皮肤病学分类的性能。使用MICLe进行预训练，与使用SimCLR相比，皮肤病学分类的前1准确性提高了（1.18±0.09）%。结果表明，利用额外的元数据或领域知识为对比性预训练构建更具语义意义的增强效果所带来的好处。此外，我们的研究结果表明，更宽和更深的模型会产生更大的性能提升，ResNet-152（2x宽度）模型的性能通常优于ResNet-50（1x宽度）模型或更小的对应物。

使用自监督模型改进的泛化对于每个任务，我们分别使用域内未标记和标记的数据执行预训练和微调。我们还使用在不同临床环境中获得的另一个数据集作为转移数据集，以进一步评估我们的方法对域外数据的稳健性。对于胸部X射线任务，我们注意到使用ImageNet或CheXpert数据的自我监督预训练可以改善泛化，但是将它们堆叠在一起会产生进一步的收益。正如预期的那样，我们还注意到，当仅使用 ImageNet 进行自我监督的预训练时，与仅使用域内数据进行预训练相比，模型的性能更差。

为了测试分布偏移下的性能，对于每个任务，我们保留了额外的标记数据集，用于在不同临床环境下收集的测试。我们发现，通过使用自我监督的预训练（使用ImageNet和CheXpert数据）在分布移位数据集（ChestX-ray14）中的性能改进比CheXpert数据集上的原始改进更明显。这是一个有价值的发现，因为分布转移下的泛化对临床应用至关重要。在皮肤病学任务中，我们观察到在皮肤癌诊所收集的单独转移数据集的类似趋势，并且恶性疾病的患病率较高。这表明，对分布偏移的自我监督表示的鲁棒性在任务之间是一致的。

 

提高标签效率

我们通过对不同部分的标记训练数据进行微调模型，进一步研究了用于医学图像分类的自我监督模型的标签效率。我们对Derm和CheXpert训练数据集使用范围从10%到90%的标签分数，并使用不同的可用标签分数检查皮肤病学任务的性能如何变化。首先，我们观察到，使用自我监督模型的预训练可以补偿医学图像分类的低标签效率，并且在采样的标签分数中，自我监督模型的表现始终优于监督基线。这些结果还表明，当使用较少的标记示例进行微调时，MICLe会产生成比例的更高增益。事实上，MICLe 仅使用 ResNet-50 （4x） 的 20% 训练数据和 ResNet152 （2x） 的 30% 训练数据来匹配基线。

结论

自然图像数据集的监督预训练通常用于改善医学图像分类。我们研究了一种基于未标记的自然和医学图像的自我监督预训练的替代策略，发现它可以显着改善监督预训练，这是训练医学图像分析模型的标准范例。这种方法可以使模型更准确，标签更有效，并且对分布偏移具有鲁棒性。此外，我们提出的多实例对比学习方法（MICLe）允许使用额外的元数据来创建逼真的增强，从而进一步提高图像分类器的性能。

自我监督的预训练比监督的预训练更具可扩展性，因为不需要类标签注释。我们希望本文将有助于在医学图像分析中推广自我监督方法的使用，从而产生适合在现实世界中大规模临床部署的标签高效且强大的模型。