|
MICS科研简讯第九期 三维医学影像数据的获取和标注难度大，数据量少。为了解决这一难题，从自然图像到医学图像的迁移学习已经成为医学图像分析中最实用的学习方法之一。自然图像中最广泛使用的预训练模型ImageNet是2D的，而医学图像(如CT和MRI等)是3D的，当三维的影像分析任务必须在二维中重新描述和解决时，大量的结构信息就会丢失，并不可避免地损害模型的性能。一般而言，用3D的神经网络直接处理三维的图像信息效果会好于2D的网络。然而在医学影像分析领域，目前尚缺乏较通用的3D预训练模型。 基于以上问题，本文为大家介绍两篇三维医学图像预训练模型的相关工作。第一篇是来自腾讯优图的首个医疗AI深度学习预训练模型MedicalNet，这也是全球第一个提供多种3D医疗影像专用预训练模型的项目。MedicalNet聚集了来自多个不同3D医疗领域的语义分割小规模数据集，并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。这一预训练的适用性也很强，可以迁移到任何3D医疗影像应用的深度学习模型中。第二篇是来自MICCAI 2019 Young Scientist Award的一篇文章，文中提出的Models Genesis预训练模型为训练三维模型提供强大的权重初始化功能，在提高准确率和稳定性的同时，大大降低了训练三维模型的时间和难度。两篇文章的迁移学习能力均远超于在ImageNet中预训练的模型效果，为三维图像基于迁移学习的预训练模型提供有效的帮助和借鉴。 1. Med3D: Transfer Learning for 3D Medical Image Analysis. 这篇文章主要从两个方面解决了上述问题。其一，文章将多个医学比赛中的8个分割数据进行了整合，创建了3DSeg-8数据集，数据中包含了不同的模态（CT和MRI）、不同扫描区域的目标器官（脑、心脏、胰腺等）、不同的病理情况以及3D中不同的分辨率、像素灰度范围等。其二，文章中设计的Med3D网络可以用于训练多种数据，并且产生了不同深度的3D-ResNet系列预训练模型，这些预训练模型可以作为骨干网络并应用于医学图像的分割、检测以及分类任务。MedicalNet尤其适用小数据医疗影像AI场景，能加快网络收敛，提升网络性能。
图1展示了这篇文章的工作流程。首先，进行数据选择，从不同的医学成像模式中收集公开的3D分割数据集（3DSeg-8数据集）。然后进行数据预处理，主要包括空间和灰度分布归一化等。在第二部分，训练Med3D网络，该网络采用ResNet网络为基本结构来学习特征。对于每个特定的数据集，网络采用同一个共享通用的编码器结构，然后以一种并联的形式对不同的数据集进行训练，用八个不同的解码器分支去适应不同的数据集。八个分支的解码器都是很简单的结构，直接将特征图从解码器上采样到原始图像的大小，并与真实标注计算损失。这样简单的解码器更有助于编码器储藏更多信息，使得网络可以专注于训练一个通用网络，且学到更多普适的信息。在测试阶段，解码器部分被移除，剩下的编码器可以迁移至其他医学分析任务。 图1 论文提出方法的总框架图
文章的目标是建立一个通用的三维骨干网络，可以迁移到其他医学图像分析任务，以获得比不使用预训练模型更好的性能。为了验证所建立的Med3D网络的有效性和通用性。文章进行了三个不同领域的实验：肺部分割，肺结节分类，和肝脏分割任务。 图2 Med3D用于肝脏分割任务的方法框架图 如图2，首先在整个图像中对肝脏进行粗略分割，得到目标器官的感兴趣区域(ROI)。在第一阶段，将来自Med3D的预训练好的骨干网络作为编码器部分，卷积层有两个通道(肝脏与背景)，对图像进行大小调整后，将图像输入到粗分割网络中，进行下采样提取特征，然后通过双线性插值方法将特征映射恢复到原始图像的大小。在第二阶段，根据第一阶段的结果对肝脏目标区域进行裁剪，再对目标进行细化分割，将来自Med3D的预训练骨干网络嵌入到DenseASPP分割网络中，并将所有的2D内核替换为相应的3D版本，最终得到较为理想的肝脏分割结果。 文章将Med3D预训练模型应用于LIDC数据集中的肺分割、LIDC数据集中的肺结节分类以及LiTS挑战赛下的肝脏分割，并在较快的收敛速度的情况下，获得了良好的训练效果。实验表明，与Kinetics数据集上预先训练的模型相比，Med3D可以加快目标三维医学任务的训练收敛速度2倍，与不使用预训练模型相比，可以加快目标三维医学任务的训练收敛速度10倍，提高精度3%~20%。将Med3D模型移植到DenseASPP分割网络上，在单个模型的情况下，得到了94.6%的Dice系数，接近于顶级算法在LiTS挑战赛的结果。表1给出了肺分割和肺结节分类的实验结果，文章提出的方法均获得了最好的结果。 表1 Med3D迁移至肺分割和肺结节分类任务的实验结果
1）有相关工作指出，源域和目标域之间的数据分布越相似，迁移学习的效果越好。因此，在三维医学分析任务中，基于三维医学数据集的模型要优于自然场景数据。本文聚集了来自不同医学领域、不同成像方式、不同靶器官和病理学表现的许多小的3D数据集，从而构建一个相对较大的用于预训练的三维医学影像数据集。 2）基于上述多域的三维医学图像数据集，跨域训练一个骨干网络来帮助解决多种疾病的多种医学分析任务，使得该模型具有较好的泛化性能。 2. Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis. 这篇文章的贡献是使用自监督学习（self-supervised learning）的方法，设计了一个基于迁移学习的3D预训练模型，可用于各类主流的3D医学图像分析问题的模型初始化。自监督学习不在于数据收集和专业标注上，而在于设计有效的自我学习机制。该文章提出的自监督学习方法归纳起来就是在原图上做一些图像变换，然后让模型去还原原图。如此一来，原图本身成为了监督模型训练的标签，符合自监督学习的初衷，从而从数据中直接学习特征。
Genesis模型利用大量可用的胸部CT图像而无需标记，目标是产生一个通用的、可跨疾病、器官和模式的视觉表示。在Genesis模型中，文章使用一系列的自监督方案来训练一个如图3所示的编码器-解码器。经过训练后，编码器可以单独针对目标分类任务进行微调，而编码器和解码器一起可以进行目标分割任务。具体来说：如图3所示，给定一个图像，首先从图像的随机位置提取任意大小的patch 图3 Models Genesis的统一框架 文章提出了4种可选的图像变换的方法：(I) 非线性变化, (II) 局部像素重组, (III) 向外填充, 和 (IV) 向内填充。具体来说，每个patch
文章给出了多组的实验结果。如表2所示，基于Genesis 预训练的模型始终优于不使用预训练的模型，在表中列出的所有任务中，都取得了比较显著的性能提升。
任务的含义描述如下：
如表3所示，本文的统一方法从外观、纹理、上下文等多个角度训练模型，从而在表中列出的多种任务中均产生了鲁棒性较强的模型，证明了Genesis模型能够学习到更全面的视觉表示。
如表4所示，在表中列出的任务中，Genesis模型始终领先于任何2D方法，包括基于ImageNet 预训练的模型。
图4比较了Genesis 2D和ImageNet监督预训练的方法，结果表明，本文提出的无需专家标注的自监督方法，在很大程度上优于不使用预训练的模型，并且取得了与最新ImageNet预训练相当的性能。
图4 2D目标任务2D解决方案的实验结果对比
1）Genesis模型进行自监督，并使用大量未标记的图像数据集来进行训练，无需手动标记，要求专家标注为零。 2）从外观、纹理、上下文等多个角度训练模型，使Genesis模型能够学习更全面的表示，从而在多种目标任务中生成更具鲁棒性的模型。 3）通过将所有任务统一为单一的图像恢复任务，节约了GPU资源，并且可以很容易的拓展到其它方法。 4）模型泛化性能好，能够做针对多种疾病的多种任务。 以上两个预训练模型的参考网址： https://github.com/Tencent/MedicalNet https://github.com/MrGiovanni/ModelsGenesis 参考文献： [1] S. Chen, K. Ma, Y. Zheng. Med3D: Transfer Learning for 3D Medical Image Analysis. arXiv preprint arXiv:1904.00625, 2019. [2] Z. Zhou, V. Sodha, M. M. Rahman Siddiquee, R. Feng, N. Tajbakhsh, M. B. Gotway and J. Liang. Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis. International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2019. 本文作者：郑海燕 |
|
|
来自： taotao_2016 > 《图像处理》
，然后进行可选择的4种图像变换。Genesis模型通过从变换后的
进行训练，旨在学习通用的视觉特征。
(见图3中的I~V)。其中变换III 和变化IV是互斥的。文章认为网络能够通过非线性变换学习到图像的外观特征；通过局部像素重组能够保留图像的全局信息，从而学习复原器官的纹理特征和边缘信息；通过向外填充和向内填充可以学习到器官的整体几何形状和空间布局。这个自监督学习框架的优势在于，它可以接收大量的图像变换，最终把它们融合成一个图像恢复任务，让模型自动学习视觉特征，因此该文章提出的框架具有很强的鲁棒性。
