|
背景：胶质瘤的预后依赖于异构柠檬酸脱氢酶（IDH）的突变状态。我们的目标是使用一种完全自动化的混合方法，结合卷积神经网络（CNN）和放射组学，从术前磁共振成像（MR）中预测胶质瘤的IDH状态。 方法：我们回顾了来自延世大学医院（Severance ，n = 856）、首尔国立大学医院（SNUH; n = 107）和癌症成像档案（TCIA; n = 203）的1166张胶质瘤（II-IV级）的术前MR图像。延世数据集被划分为开发集（n = 727）和内部测试集（n = 129）。基于T1后增强、T2和液体衰减反转恢复图像，我们开发了一个全自动模型，该模型包括用于肿瘤分割的CNN（模型1）和用于IDH状态预测的基于CNN的分类器（模型2），该分类器使用一种基于2D肿瘤图像和由模型1引导的3D肿瘤形状和位置的放射组学特征的混合方法。经过训练的模型在内部（延世数据集的一个子集）和外部（SNUH和TCIA）测试集上进行了测试。 结果：用于肿瘤分割的CNN（模型1）在各个数据集中达到了0.86-0.92的骰子系数。我们的混合模型在内部测试集、SNUH和TCIA集中分别达到了93.8%、87.9%和78.8%的准确度，接收者操作特性曲线下的面积分别为0.96、0.94和0.86，精确度-召回曲线下的面积分别为0.88、0.82和0.81。
胶质瘤是成年人中最常见的恶性原发性脑肿瘤。根据世界卫生组织（WHO）的分级，胶质瘤的预后范围很广，对于胶质母细胞瘤（IV级）的中位生存期为14个月，而对于低级别胶质瘤（II和III级）则超过7年。近年来，分子亚型，如异构柠檬酸脱氢酶（IDH）突变状态，被报道为胶质瘤肿瘤行为的重要因素。具体而言，野生型IDH的低级胶质瘤在分子特征和预后方面与胶质母细胞瘤相似，而IDH突变型胶质母细胞瘤的预后比IDH野生型胶质母细胞瘤更好。因此，IDH状态已被纳入2016年WHO对胶质瘤的分类方案中。此外，全切除肿瘤对低级胶质瘤预后的影响也取决于IDH突变状态。因此，术前预测IDH状态对于适当的治疗计划是必要的。 深度卷积神经网络（CNN）是一种代表性的方法，通过直接从图像信号强度中学习相关特征来利用图像中的高维数值信息。CNN具有预测胶质瘤IDH状态的诊断价值。然而，对于IDH状态预测的CNN的临床实施存在几个障碍：如果模型预测过程不是完全自动化的，任何依赖操作员的过程，如手动分割，都可能是耗时的，这限制了临床可行性，并且是评分者间可变性的一个来源。此外，基于图像信号强度的CNN无法直接整合与IDH状态相关的3D肿瘤形状和位置的信息。此外，由于图像信号强度可能对不同的MRI协议和机器敏感，并且可能影响CNN模型的性能，因此需要进行外部测试以确认模型在不同机构之间的泛化性。尽管以前的研究已经将CNN应用于胶质瘤的脑MR图像以预测其分子特征，但许多研究缺乏确认模型泛化性的外部测试。 材料和方法 这项回顾性研究得到了韩国首尔延世医院伦理委员会的批准。对于知情同意的要求被豁免。 患者 患者入组过程如图1所示。从2006年1月到2019年6月，在延世医院接受新诊断胶质瘤（II-IV级）术前MRI检查的共1202名患者被考虑纳入。纳入标准如下：（i）病理学证实的胶质瘤，（ii）已知的IDH突变状态，（iii）包括对比增强T1加权（T1C）、T2加权（T2）和液体衰减反转恢复（FLAIR）图像的术前MRI，以及（iv）年龄≥18岁。排除标准如下：（i）有脑肿瘤活检或手术史（n = 182），（ii）缺少T1C、T2或FLAIR图像（n = 83），和/或（iii）未知的IDH状态（n = 81）。因此，共有856名患者从延世医院（延世组）入组。这些患者按照IDH状态进行分层，被半随机地分配到开发组（n = 727）和内部测试组（n = 129）。开发组随后被划分为训练组（n = 596）和调优组（n = 131）。对于外部测试，共有107名连续患者从2017年1月到2018年1月从首尔国立大学医院（SNUH组）15和203名来自癌症影像档案库（TCIA组）16的患者按照相同的标准入组。TCIA组中入组患者的名单如eTable 1所示。IDH状态评估的详细信息提供在eDocument 1中。
图1 研究人群的流程图。 研究设计  图像获取和处理 图像获取参数的详细信息总结在eFigure 1和eTable 2中。每个数据集中最常用的成像参数及其比例如下：磁场强度：Severance（98.2%）和SNUH（85.0%）数据集为3T，TCIA数据集为1.5T；制造商：Severance数据集为Philips（98.1%），SNUH数据集为Siemens（79.4%），TCIA数据集为General Electric（73.4%）；T1C切片厚度：Severance（83.1%）和SNUH（100.0%）数据集为≤1.0 mm，TCIA数据集为2.0-3.0 mm；T2切片厚度：Severance（45.9%）和SNUH（50.5%）数据集为6.0-7.0 mm，TCIA数据集为4.0-5.0 mm；FLAIR切片厚度：Severance（54.2%）和SNUH（88.8%）数据集为6.0-7.0 mm，TCIA数据集为2.0-3.0 mm。详细的图像处理方法描述在eDocument 2中。简而言之，T1C、T2和FLAIR图像被配准到相同的1-mm等体素空间坐标。图像经过信号强度归一化和重新采样到128 × 128 × 128的大小。整个肿瘤的基准真值定义为FLAIR图像上的高信号强度，并由一名神经放射科医生进行分割，并由另一名神经放射科医生（S.B.和Y.S.C.，分别有4年和7年的神经放射学经验）进行确认。 用于肿瘤分割的CNN（模型1） 对于用于肿瘤分割的CNN，Kickingereder和Isensee等人提出的修改后的3D U型CNN架构被修订为使用大小为128 × 128 × 128的T1C和FLAIR图像作为网络输入，并仅产生整个肿瘤的分割。架构和训练过程的详细信息描述在eDocument 3中。 用于IDH状态预测的CNN分类器（模型2） 模型2的架构如图2所示。简而言之，我们用于IDH状态预测的CNN分类器是基于著名的34层ResNet架构（以下简称为传统ResNet）进行派生的，该架构在eFigure 2中显示，包含初始的7×7卷积和由3、4、6和3个残差块组成的第1-4层，每个残差块都有两次3×3卷积。为了实现混合方法，额外的全连接层被添加到传统ResNet中以构建模型2，该模型使用了额外的数值输入以及图像输入。 模型2的图像输入包括轴向T1C和T2图像以及128×128大小的肿瘤掩模。为了从肿瘤中提取全面的2D信号强度信息，自动选择具有最大肿瘤面积的轴向切片作为“最大肿瘤图像”，并从最大肿瘤图像的上方4个（+4）、上方2个（+2）、下方2个（-2）和下方4个（-4）切片中提取其他4幅图像。因此，根据肿瘤分割，每位患者的5个轴向切片被自动选择，并在模型开发和测试中被视为单独的样本。模型2的数值输入是从由年龄以及基于形状和位置的放射组学特征（eDocument 4）组成的总共24个特征中选择的，这些特征是根据开发集中IDH状态的单变量t检验自动从肿瘤掩模中提取的。 模型2的训练过程的详细信息描述在eDocument 5中。简而言之，传统ResNet首先使用图像输入进行了“预热训练”。然后，从靠近图像输入的层中导入到模型2的预训练权重并固定，模型2的其余层使用图像和数值输入进行了微调。 全自动流水线和混合模型 我们的自动混合模型是通过使用全自动流水线将用于分割的模型1与用于IDH状态预测的模型2连接而构建的。我们训练过的自动混合模型在1个内部测试集（Severance集的一个子集）和2个外部测试集（SNUH和TCIA集）中进行了测试。内部测试集以及SNUH和TCIA集在模型开发过程中是分开的，没有被透露。自动混合模型测试的第一步是从模型1中获取测试样本的自动肿瘤分割。这些分割随后用于选择模型2的2D图像输入（5个轴向切片）和提取用作模型2数值输入的3D形状和位置基础放射组学特征，以及年龄。所有过程都是自动化的。 模型解释 为了了解图像输入的哪一部分与IDH状态预测有关，进行了消融分析，并生成了显著性地图，这些地图由两名神经放射科医生（S.B.和J.K.）基于一项调查20进行了评估，具体描述在eDocument 6中。数值输入的变量重要性是基于稍后提到的形状/位置放射组学分类器计算的，使用“caret” R包的“varImp”函数。 统计分析 使用骰子相似系数来衡量模型1用于肿瘤分割的性能，该系数测量两个二进制分割掩模（即，放射科医生的基准分割和模型1的自动分割）之间的空间重叠程度，并且范围从0（无重叠）到1（完全一致）。连接模型1和2的自动混合模型的诊断性能用准确度、接收者操作特性曲线下的面积（AUROC）和精确度-召回率曲线下的面积（AUPRC）来衡量，使用“PRROC” R包。AUROC和AUPRC值的95%置信区间是通过模型的预测概率进行2000次自助法迭代计算的。准确度计算的概率阈值设置为0.5；因此，预测概率≥0.5被分类为IDH突变，其他值被分类为IDH野生型。自动混合模型的诊断准确度是针对单个样本和每个患者的5个样本的平均概率进行测量的。除了自动混合模型和传统的ResNet之外，为了评估数值特征的诊断价值，基于模型2的数值输入使用随机森林算法和10折交叉验证在开发集中构建了形状/位置放射组学分类器，使用“caret” R包。此外，仅使用年龄构建了基于开发集的诊断模型。使用图像输入的传统ResNet、使用数值输入的形状/位置放射组学分类器和仅使用年龄进行预测的诊断性能在测试集上进行了测量。为了评估图像集成模型（即，自动混合模型）是否比单独的临床因素（即，年龄）更准确地预测IDH状态，通过精确的二项式检验（使用“binom.test” R函数）和Delong等人描述的方法比较了准确度和AUROCs。P值<0.05被认为表示统计学上有显著差异。所有统计分析都使用R软件v3.4.4进行。 如果您对影像组学数据处理等感兴趣，欢迎浏览思影科技课程及服务。（可添加微信号18983979082或19962074063咨询，另思影提供免费文献下载服务，如需要也可添加此微信号入群）: 北京： 结果 研究人群的特征 来自延世医院、TCIA和SNUH的总共1166名患者的临床特征总结在表1中。在IDH状态方面，SNUH组与延世组没有差异（P > 0.999），而来自TCIA的组比延世组具有显著更高的IDH突变患病率（P < 0.001）。在WHO分级方面，SNUH组具有显著更高比例的II级胶质瘤（P = 0.005），而来自TCIA的组显示出更高比例的低级胶质瘤的非显著倾向（P = 0.054）与延世组相比。在年龄（P = 0.194，延世组与SNUH组；P = 0.818，延世组与TCIA组）或性别（P = 0.721，延世组与SNUH组；P = 0.305，延世组与TCIA组）方面没有找到显著差异。  模型1（用于肿瘤分割的CNN）经过46个训练周期后，在内部测试集、SNUH集和TCIA集中分别达到了0.91 ± 0.04、0.92 ± 0.01和0.86 ± 0.08的骰子系数。预训练的传统ResNet（带有图像输入）经过111个训练周期后完成。在形状和位置特征以及年龄的24个数值特征中，有20个特征根据IDH状态显示出显著差异，并被用作模型2的数值输入。从预训练的传统ResNet导入部分权重后，模型2经过72个微调周期后完成。自动化混合模型在测试集上的性能总结在表2和图3中。通过每个患者的5个样本的平均概率，我们的模型在内部测试集、SNUH集和TCIA集中分别达到了93.8%、87.9%和78.8%的准确率，以及0.96（95% CI：0.93–0.99）、0.94（95% CI：0.89–0.97）和0.86（95% CI：0.80–0.91）的AUROC，以及0.88（95% CI：0.72–0.98）、0.82（95% CI：0.65–0.94）和0.81（95% CI：0.71–0.88）的AUPRC。
AUROC，接收者操作特性曲线下的面积； AUPRC，精确度-召回率曲线下的面积。 a由于每个患者产生了5个肿瘤切片，因此每个患者的诊断准确度是根据每个患者的5个预测概率的平均值来计算的。   模型解释 消融分析的结果显示在eTable 4中。与原始的常规ResNet的性能相比，在消融分析中，每个患者的轴向图像数量减少、图像序列数量减少或非肿瘤脑组织区域被遮盖时，我们观察到诊断性能下降，准确度、AUROC和AUPRC的范围分别为67.8%–86.8%、0.71–0.93和0.62–0.84。当从图像输入中遮盖肿瘤区域时，产生了最低的诊断性能，准确度为58.4%–72.1%，AUROCs为0.55–0.71，AUPRCs为0.37–0.47。 显著性图的调查结果和代表性案例显示在eTable 5和eFigure 3中。在T1C显著性图上，主要激活区域是增强肿瘤区域（如果肿瘤有增强部分）和肿瘤边缘沿着边缘，无论是否存在增强。在T2显著性图上，主要激活区域涉及整个肿瘤区域。此外，在肿瘤之外，肿瘤周围区域沿着肿瘤边缘也包括在T1C和T2显著性图的激活区域内。数值特征的变量重要性及其根据IDH状态的不同分布显示在eFigures 4和5中。在20个数值特征中，年龄、额叶位置、肿瘤球形度、顶叶位置和丘脑位置是最重要的特征。 讨论 我们总共纳入了1166名胶质瘤患者，并开发了一个自动化混合模型来预测IDH状态。我们的模型将2D肿瘤信号强度、3D肿瘤形状和位置以及年龄的信息整合到一个CNN中，同时还包括基于CNN的自动肿瘤分割和一个完全自动化的流程，没有任何操作者依赖的过程。在基于一个机构数据集开发模型后，我们的自动化混合模型允许在不同的队列、MR扫描仪和成像协议中进行IDH状态预测，AUROCs的范围从0.86到0.96。 IDH基因突变为胶质瘤提供了更好的预后和治疗反应，与组织学分级无关。这导致了IDH状态的整合用于2016年中枢神经系统肿瘤的WHO分类的更新。最近的研究表明，对于IDH突变型星形细胞瘤，整体切除比其他分子亚型的胶质瘤更有益。尽管最大肿瘤切除是IDH状态的标准治疗，但术前预测IDH状态可能有助于规划包括手术在内的治疗。这导致了对放射学发现来预测IDH状态的研究。然而，这种经过视觉评估的定性放射学发现容易受到观察者之间的变异性，并且只能提供人类通过视觉评估可以感知的信息；之前的一项研究对低级胶质瘤的MR图像进行了视觉评估，根据Visually Accessible Rembrandt Images (VASARI)注释和纹理分析进行了视觉评估，并报告了定性VASARI特征的诊断性能（AUROC平均值，0.73 ± 0.02）低于定量纹理分析（AUROC平均值，0.86 ± 0.01）。 CNN和放射组学分析是图像分析的代表性定量方法，能够提取高维和抽象的数值信息，超出了通过给定图像的视觉评估所能感知的范围。尽管CNN和放射组学分析在预测IDH状态方面表现出色，但基于CNN和放射组学的分类器在临床实施方面都面临重大障碍。首先，稳健的肿瘤分割对于基于CNN和放射组学的分类器都是一个主要挑战。尽管半自动分割比手动分割具有更高的重复性，但自动分割仍然是实现理想重复性的必要条件。其次，对于放射组学特征，有限重复性的主要原因是缺乏计算强度特征（即一阶和纹理特征）的标准方法，包括强度范围和离散强度的箱数。与强度特征相反，形状和位置特征独立于用于强度特征计算的参数；因此，如果能够实现稳健的肿瘤分割，形状和位置特征就可以是稳定的。第三，尽管CNN通过使用卷积直接从图像中捕获关键特征来消除特征计算和选择的步骤，但基于信号强度的CNN无法直接捕获据报道取决于IDH状态的肿瘤的3D形状和位置。 少数几项研究已经应用CNN进行IDH状态预测。其中一项研究总共有259名来自TCIA集的患者，开发了一个使用预训练算法进行肿瘤分割的2D图像输入的CNN模型。另一项研究有214名来自TCIA集的患者，开发了一个完全自动化的网络，该网络基于整个大脑的3D T2图像同时执行肿瘤分割和IDH状态预测。然而，这两项研究仅进行了交叉验证以测试模型的泛化性，而没有在单独的数据集上进行外部测试。另一项研究总共招募了496名来自3个不同数据集的多机构患者，以开发一个具有2D图像输入的CNN模型，据我们所知，这是唯一进行了模型泛化性的外部测试的研究。然而，这项研究的作者使用手动肿瘤分割来选择网络输入的肿瘤切片，并没有确认与单独使用年龄相比，基于CNN的模型的诊断性能有所改善；在独立的外部测试中，仅通过CNN模型、与年龄结合的CNN模型和仅通过年龄进行的预测的准确性分别为67.1-79.0%、77.5-84.5%和77.7-84.1%。据我们所知，一个在多个测试中具有不同程度与开发集相似性的完全自动化模型尚未得到很好的建立。考虑到不是所有机构都能充分配备用于深度学习模型开发所需的大型患者队列和技术基础设施，从大型机构导入经过外部训练的模型可能比从一开始参与多机构模型开发更为可行。因此，实用模型应该能够在没有在这些机构的样本上进行训练的情况下跨机构泛化，并通过自动化实现可重复性。在本研究中，我们试图模拟一个完全自动化的模型可以在一个大型机构开发并应用于来自各种机构的数据集的可行临床情境。 模型2与先前报道的基于图像的CNNs不同，因为3D肿瘤形状、位置和年龄被整合到一个CNN中，该CNN在各个数据集中持续地表现出比仅基于图像的CNN更好的模型性能。模型解释的分析结果暗示，我们模型预测的相关特征与先前报告中的特征一致。IDH突变型胶质瘤患者的平均年龄比IDH野生型胶质瘤患者的年龄低几岁。IDH突变型胶质瘤主要位于额叶，而IDH野生型胶质瘤则常常位于顶叶，几乎不涉及额叶。IDH野生型胶质瘤比IDH突变型胶质瘤具有更高比例的增强和更不规则的肿瘤边界。显然扩散系数作为肿瘤细胞性指数被报道与IDH状态有关，T2加权信号强度被报道与肿瘤细胞性有关。 我们的结果暗示，我们的自动化混合模型可以在不同的MRI扫描仪、图像协议和队列之间进行泛化，并且它始终比仅使用年龄表现得更好。然而，值得注意的是，我们的混合模型性能因测试集而异；在内部测试集中最高，其次是SNUH集，然后是来自TCIA的集。关于最常用的成像参数，SNUH集使用与Severance集相同或更高的3T磁场强度和图像空间分辨率。相反，在来自TCIA的集中，磁场强度为1.5 T，一些图像空间分辨率低于Severance集，包括用作成像处理中的配准模板的T1C的切片厚度。因此，SNUH集代表了一个与开发集在成像协议、IDH突变比例和患者种族（均为韩国人）方面相似的数据集，而来自TCIA的集代表了一个极度异质的数据集，该数据集由来自多个机构、具有不同成像协议和与开发集相比具有不同IDH突变比例的多个种族的患者组成。因此，我们的结果暗示，应考虑开发和测试集之间在队列和成像协议方面的相似度，以获得出色的模型性能。鉴于SNUH集在扫描仪差异方面的良好模型性能，我们的结果还暗示，如果队列特征相似，通过在机构之间标准化图像协议以增强模型泛化性，可以显著克服与扫描仪相关的差异。 本研究有三个主要局限性值得讨论。首先，没有考虑到如灌注和扩散加权成像等高级MRI技术；然而，我们的目标是基于广泛可用的常规MR图像开发一个可行的模型，使用高级MRI可能会限制模型的可行性。其次，只使用了整个肿瘤的分割来提取形状和位置特征，没有单独考虑对比增强肿瘤和坏死。然而，一个肿瘤的多重分割可能会产生冗余的肿瘤形状和位置信息，这些信息不会进一步提高模型的性能。第三，尽管模型2将肿瘤图像、形状和位置以及年龄整合到一个CNN中，但我们的模型不是一个端到端的模型；用于肿瘤分割的模型1和用于IDH状态预测的模型2是分开训练并随后组合的。然而，图像预处理、模型1-2以及之间的流程完全基于开源模块，可以集成到基于Python的流程中，测试样本可以自动运行通过我们模型的每一个步骤。因此，组合这两个模型的方法不太可能成为临床可行性和便利性的障碍。此外，通过分别开发模型1-2，每个模型可能具有在缺少所需MRI序列的部分情况下或用于神经肿瘤学中的其他应用作为独立构建块的灵活性。 总之，我们开发了一个基于深度学习和放射组学的模型，该模型可以使用基于常规MR成像的全自动过程可靠地预测胶质瘤的IDH状态。我们的模型有潜力作为一个具有高可重复性和泛化性的实用工具更广泛地用于支持个性化治疗计划的胶质瘤的非侵入性表征。 |
|
|
