分享

基于CT影像的亚实性肺结节增长速度预测的深度学习模型

 Flowers11 2022-11-15 发布于河南

编译 广东省肺癌研究所 廖日强 杨雄雯

背景:在随访期间准确评估亚实性肺结节(SSNs)的增长速度影响后续的治疗决策。本研究的目的是:(1)研究结节的直径、体积和质量对判定结节增长速度的敏感性;(2)寻求建立基于深度学习的模型来预测结节的增长速度。

方法:来自NLST数据集的2,358名患者共有3,120个SSNs被随机分为训练集和验证集。所有患者的随访不少于两年。收集视源健康管理中心和广东省人民医院的患者作为外部测试集(165名患者共213个SSNs)。利用基于LUNA16和Lndb数据集的训练模型,自动获得了SSNs的直径、体积和质量。通过研究癌症组和非癌症组之间测量值(直径、体积和质量)的增长速率,以评估确定增长相关肺癌的最适当方法。此外,根据所选择的测量,所有的SSNs被分为两组:增长型和非增长型。基于数据,建立了深度学习模型(SiamModel)和影像组学模型,并进行了验证。

结果:癌症组和非癌症直径、体积和质量的倍增时间分别为711天 vs. 963天 (P = 0.20)、552天vs. 621天(P = 0.04)和488 vs. 623天(P< 0.001)。我们提出的SiamModel在NLST验证集和外部测试集中都优于影像组学模型,在验证集的AUC分别为0.858 (95% CI 0.786-0.921)和0.760 (95% CI 0.646-0.857),在外部测试集的AUC分别为0.862 (95% CI 0.789-0.927)和0.681 (95% CI 0.506-0.841)。此外,我们的SiamModel可以使用首次CT影像数据来预测SSNs的生长,NLST验证集的AUC为0.855 (95% CI 0.793-0.908),外部测试集的AUC为0.821 (95% CI 0.725-0.904)。

结论:质量增长速率比直径和体积增长速率更能敏感地反映恶性SSNs的增长。基于深度学习的模型在预测SSNs的增长方面具有很大的潜力。

     前言     

图片

01

引言

肺癌是癌症死亡的主要原因,2020年全球约有180万人死亡(18.0%)。目前低剂量CT扫描(LDCT)是降低高危人群肺癌死亡率的有效筛查工具。随着LDCT在肺癌筛查中的普及,肺结节,特别是亚实性结节(SSNs)的检出率有了显著提高。其中包括磨玻璃状结节(GGN)和部分实性(PSNs)结节,无论大小,都比实性结节有更高的恶性可能性。尽管通过早期干预,SSNs有良好的预后,但在临床实践中也存在过度诊断和过度治疗。所以对于随访期间的SSNs,预测其增长速度对后续的治疗决策至关重要。与直径和体积相比,质量的增加是增长变化的早期指标。然而,人工测量肿瘤质量需要耗费大量人力,在常规的临床实践中很难进行。近年来AI在癌症成像领域进展迅速。然而在SSNs的应用中,AI或其他自动化方法几乎没有取得进展。针对此难题,来自广东省肺癌研究所的杨学宁教授团队开展本项研究,以开发直径、体积和质量测量的高敏方法,并尝试建立基于深度学习的自动识别模型。为随访和治疗计划制定提供依据。

02

材料和方法

研究方案

我们纳入了2002年8月至2009年12月NLST研究的亚实性结节数据,另外纳入了2017年8月至2022年1月视源健康管理中心和2011年7月至2021年9月广东省人民医院的亚实性结节数据。外部数据集的纳入标准为:(a) 30岁≤年龄≤80岁;(b)至少有2年的CT影像资料(层厚<2.5 mm);(c)至少一个亚实性结节;(d)初始CT影像上亚实性结节的直径为5mm-30mm。排除标准为:(a)只接受过一次CT检查;(b)随访时间不足2年;(c)5年内患过除肺癌外的其他恶性肿瘤。如果患者有多个亚实性结节,则选择符合上述条件的两个最大的结节进行研究。共纳入NLST数据集的2358名患者共3120个SSNs,并按8:2的比例随机分为训练集(1894名患者,2493个SSNs)和验证集(464名患者,627个SSNs)(图1)。此外,该研究收集了来自视源健康管理中心和广东省人民医院的165名患者,共213个SSNs作为外部测试集(图2)。

CT检查及影像分析

本研究包括7177次LDCT/CT影像(来自NLST研究的2,358名患者的6,812次CT影像,外部数据集的165名患者的365次CT影像)。如果有三次以上的CT影像,则选取最近的三次。最后我们从历次CT影像中共提取了9411个SSNs,以评估其增长情况(图1,2)。

图片
图片

为了分析连续数年SSNs的直径、体积和质量的变化,我们对不同次CT影像的相同结节了进行匹配(图3)。

图片

为此我们开发了一个半自动管线来处理连续CT影像。首先,我们在原始CT影像中检测并识别SSNs。然后,我们根据第一次CT影像(Tt−1)对第二次CT影像(Tt)和第三次CT影像(Tt+1)进行3D图像配准,并对包含SSNs的3D感兴趣体素(VOIs)进行配对,以匹配不同时间点的同一SSNs,并计算其直径、体积和质量。我们应用了 LUNA16和LNDb公共数据集来训练我们的检测器和图像分割器,其中用于VOI识别的检测器为3D-CenterNet,用于病灶分割的分割器为3D-UNet。在LUNA16数据集上的检测器的结果为自响应ROC(Free-response ROC = 0.966),召回率(Recall= 0.978),精确度(Precision = 0.654)。分割器的结果为0.838。

增长速度测定

我们采用三个测量值用于评价SSNs的生长情况:1.结节直径(mm);(2) 结节体积(mm3);(3) 结节质量(M = V × (A + 1000)/ 1000),其中A为平均CT值(HU), V为结节体积。根据随访结果,将NLST研究中的SSNs分为癌症组和非癌症组。对于每个SSN,我们分别计算了随访期间直径、体积和质量的增长速率,然后比较癌症组和非癌症组之间的三个参数的相对增长率,以评估识别增长的最合适的方法。根据所选择的测量值,将所有SSNs分为增长组和非增长组。利用训练集开发了基于深度学习的模型和影像组学模型,并分别在验证集和测试集中进行了验证和测试。影像组学模型是基于影像组学特征的Logistic回归模型,该模型从SSNs的3D-VOIs中提取,并通过LASSO回归选择。最后我们共提取1218个特征,选择了其中60个特征进行Logistic回归模型建模。基于所选择的特征,我们确定了深度学习模型(SiamModel,图4),其中FGt、FLt和FLt−1分别表示Tt VOI的全局嵌入特征、Tt VOI的局部嵌入特征和Tt−1 VOI的局部嵌入特征。

图片

如果Tt−1 VOI不可用(当只有两次CT影像时),则提供可学习的嵌入FLt−1。对于特定患者,将连续时间点的CT影像中获取的3D VOI对(Tt−1和Tt)输入到Siamese编码器中提取嵌入特征。利用时空混合器(STM)模块融合特征后,利用全连通层预测结节的增长概率。值得一提的是,Tt−1和Tt上VOIs的全局信息是不变的。因此,我们只需从Tt中学习全局嵌入特征。然而,Tt−1和Tt中相同结节的局部信息是不同的,是预测增长强有力的指标。因此,我们从Tt−1和T中学习了局部嵌入特征,以捕获不断变化的局部信息。为了有效利用非生长组和生长组中SSNs的变化信息,我们用加权平滑L1损失代替交叉熵损失来训练我们的模型。

公式如下: 

L = α × SmoothL1(p, y) × I≥ + SmoothL1(p, y) × (1 ̵ I≥)                          (1)

在本模型中,p和y分别为相对增长率的模型输出值和标准值。

03

结果

从NLST研究中的2358例患者中选取了3120个SSNs,其中包括2983个(96%)GGNs和137个(4%) PSNs。共有2,695个SSNs接受了至少3次CT扫描。为了评估识别亚实性结节增长的最佳方法,我们根据随访结果,将NLST中的SSNs分为癌症组(403个)和非癌症组(2717个)。分别计算直径、体积和质量的增长速度和倍增时间(表1)。癌症组和非癌症组之间测量值(无直径倍增时间数据)的P值均小于0.05。此外,质量的P值最小,说明癌症组和非癌症组的质量差异更明显。此外,肿瘤组中质量的倍增时间最短,说明质量对结节增长的判定有更好的敏感性。

图片

所选SSNs第一次与最后一次CT检查的平均时间为739天(范围为521 - 1274天)。在此期间,癌症组的SSNs的直径、体积和质量分别增加了14%、90%和121%,而非癌症组的SSNs的直径、体积和质量分别增加了4%、26%和19%。在区分癌症组和非癌症组中,质量的增长速度比体积和直径的增长速度更显著(图5)。当质量增长大于25%时,SSNs呈现明显的增长趋势,更容易恶化为肺癌。

增长型和非增长型SSNs的特征

图片

根据上述分析,将SSNs的增长定义为1年内质量增加25%。在训练集、验证集和外部测试集中,分别有2493个SSNs (增长型174个,非增长型2319个)、627个SSNs (增长型38个,非增长型589个)和213个SSNs (增长型9个,非增长型204个)(表2)。在NLST研究的训练集和验证集中,SSNs的平均CT值(P<0.01)和直径(P<0.001)之间有统计学差异。然而,在外部试验集中,增长型与非增长型之间只有直径(P = 0.04)有显著差异。

图片

模型的性能比较

基于深度学习和影像组学的模型使用训练集开发,并在验证集和测试集中进行验证。SiamModel在验证集的AUC为0.858 (95% CI 0.786-0.921),在外部测试集的AUC为0.862 (95% CI 0.789-0.927)(表3)。

图片

验证集与外部测试集的对比结果表明,SiamModel具有良好的泛化能力。

与STM相比,我们的SiamModel在验证集的AUC为0.858 (95% CI 0.786-0.921) vs. 0.823 (95% CI 0.731-0.898),在外部测试集的AUC为0.862 (95% CI 0.789-0.927) vs. 0.806 (95% CI 0.693-0.902),这表明我们提出的加权平滑L1损失用于SSN增长预测具有优越性。

假设数据集中所有Tt−1影像都不可用(仅使用Tt VOI作为输入),比较SiamModel和影像组学模型的性能,如表3和图6所示。

图片

在NLST验证集中,SiamModel和影像组学模型的AUC值分别为0.855 (95% CI 0.793-0.908)和0.760 (95% CI 0.646-0.857),而外部测试集的AUC值分别为0.821 (95% CI 0.725-0.904)和0.681 (95% CI 0.506-0.841)。因此,我们的SiamModel在NLST验证集和外部测试集中的表现都优于影像组学模型(图6)。比较仅使用Tt VOI作为输入的SiamModel,我们发现,我们的SiamModel在两个VOI (Tt−1和Tt)作为输入时的表现略好,在NLST验证集的AUC为0.858 vs. 0.855,在外部测试集的AUC为0.862 vs. 0.821。

模型预测实例

图7提供了SiamModel在外部测试集中预测的示例。预测结果中,prob ≥ 0.5表示结节可能有增长,需要医生更多的关注和相对密集的随访。

图片

04

讨论

我们的研究首先基于NLST研究的大数据比较了直径、体积和质量在评估SSNs增长方面的有效性,发现质量对评估SSNs增长具有更好的敏感性。然后,我们开发了基于深度学习的模型(SiamModel)来预测SSNs的质量增长,并在验证集(AUC = 0.858)和外部测试集(AUC = 0.862)上取得了良好的性能。

对于在筛查或偶然发现的肺结节中,首要任务是评估其恶性风险。既往有一些模型结合了临床和影像学因素来估计恶性肿瘤的概率,并达到了相当好的性能。一般对于不确定的结节,通常建议随访。肺结节的生长模式可以提高诊断恶性结节的准确率,减少假阳性,但也会有一部分良性结节也会增长。

此外,还有几种方法可以测量结节的增长,如直径、体积和质量。Lung-RADs评分和NCCN肺癌筛查指南中,将结节直径增长或半实性结节中实性成分直径增长超过1.5 mm定义为结节增长。然后,Fleischner Society中选择直径增长超过2mm作为评价结节增长的阈值,I-ELCAP根据结节的初始直径的不同的取不同的增长值来定义结节增长。另外,NELSON研究认为体积测量比直径测量更精确,因此增长被定义为肺结节的体积增大超过25%。然而,SSNs的体积倍增时间(VDT)较长,VDT很难将惰性肺癌和良性结节区分。我们的研究还显示了VDT在癌症组和非癌症组的平均值(552 vs. 621天,P = 0.04),该结果与NLST研究相似。

Hoop等人比较了52个肺GGNs的直径、体积和质量的测量结果,发现质量是鉴别恶性GGNs和检测GGNs增长的最佳方法。我们的研究还发现,质量增长是识别SSNs增长的最灵敏的方法,因为质量增长可能反映体积、密度或实性成分的增长。与Hoop等人的研究相比,我们计算了NLST研究中SSNs的增长速率,并在更多患者中得到了验证。此外,我们使用了机器学习的方法来自动测量体积和质量,节省了人力。

根据初始CT影像和临床因素,GGN的初始大小、CT衰减和肺癌病史与GGN的生长有关。对于需要随访的肺结节,以往的研究集中于分类,很少依赖于GGO生长的预测因子。在过去的10年里,影像组学和深度学习技术被用于肺结节检测、分割和分类。影像组学可以从医学影像中提取高通量的图像特征,并利用有限的数据建立高性能模型。多项研究表明,影像组学特征可以鉴别恶性和良性结节,其敏感性在76.2 ~ 92.9%之间,特异性在72.7 ~ 96.1%之间。结合影像学因子或监督机器学习与影像组学模型可以获得更好的性能。传统的影像组学方法对肺结节进行分类,需要人工进行大量的肿瘤分割和特征提取。深度学习算法可以自动检测和分割肺结节,并建立预测模型。Ardila等人通过3D深度学习方法开发了肺癌风险的预测模型,对于有或没有初始CT影像的肺结节诊断,甚至优于影像科医师。在预测肺癌风险方面,CNN模型也优于Brock模型。Huang等人开发的深度机器学习算法与Lung-RADs评分和体积倍增时间进行了比较,以预测1年、2年和3年的肺癌发病率。对于肺结节的增长,Tao等人人工分割了他们医院246名患者的313个肺结节,然后开发了CNN模型来模拟结节从基线CT影像到后续CT影像的变化,在区分增长型结节和非增长型结节时,实性结节的AUC为0.857, GGN为0.843。与Tao等人相比,我们首先在LUNA16和LNDb数据集上训练检测和分割模型,然后使用它们自动识别和分割SSNs,且易于再现。对于SSNs的增长,我们开发了一个深度学习模型,称为SiamModel。在独立的外部测试集中, SiamModel可以很好地预测SSNs的增长(AUC = 0.862),与影像组学模型相比,SiamModel性能更为优越。

本研究存在以下局限性:(a) 增长型和非增长型SSNs在我们的外部测试集中极度不平衡,因此可能存在验证偏差;(b)训练集只包含LDCT影像,而外部数据集同时包含正常CT和LDCT影像,因此,在进一步的研究中还需要增加更多正常CT影像的训练集和测试集;(c)我们将至少25%的质量增加定义为SSNs的增长,但没有明确的文献支持,应该在进一步的临床实践中进行测试。质量增长率比直径增长率和体积增长率更能敏感地反映肺癌相关SSNs的增长。此外,我们建立了一个基于深度学习的模型(SiamModel),与影像组学模型相比,该模型可以更好地基于质量预测SSNs的增长

05

参考文献

Liao RQ, Li AW, Yan HH, et al. Deep learning-based growth prediction for sub-solid pulmonary nodules on CT images. Front Oncol. 2022;12:1002953. Published 2022 Oct 12. doi:10.3389/fonc.2022.1002953

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多