|
【编者按:随着计算机技术及人工智能（AI）的迅猛发展，AI已广泛应用于或正在考虑应用于医学图像及大数据处理，包括图像重建、图像处理(去噪、分割)、分析和模型预测，使得影像组学得到飞速发展。影像组学是应用生物信息学方法从医学图像中提取多个定量影像学特征，可获得额外的信息来预测潜在的肿瘤生物学行为。近几年PET代谢影像组学研究报道也逐渐增多，由于PET图像的影像组学参数可揭示肿瘤的异质性，在肿瘤的诊疗及分子机制的研究具有独特优势，在临床方面已在非小细胞肺癌、头颈肿瘤、食道癌、胰腺癌、子宫颈癌、淋巴瘤及肉瘤等方面应用获得可喜结果，虽然PET影像组学仍存在许多技术挑战和标准化需求，可以肯定的是，PET影像组学将有助于个体化医疗的推进，在预测癌症的治疗疗效、预后以及患者生存期方面显示出了良好的前景。为了使大家更好地了解影像组学研究的概括及其临床价值，本次选择5篇影像组学相关文献进行翻译，第4篇是关于人工智能、机器(深度)学习和影像（基因）组学：定义和核医学显像应用的翻译内容。因组稿时间仓促、译者水平限制及审校者经验不足，译文中定有不当之处，敬请各位专家批评指正！】
人工智能、机器(深度)学习和影像（基因）组学：定义和核医学显像应用 (Visikis D et al. Artificial intelligence, machine (deep) learningand radio(geno)mics: definitions and nuclear medicine imaging applications. EurJ.Nucl Med Mol Imaging, 2019;46(13):2630-37.) 摘 要 人工智能领域的技术，特别是机器(深度)学习方法，已经成为医学影像领域中最新发展的核心组成部分。人工智能已经被应用于或正在考虑应用于处理大多数任务，包括图像重建、图像处理(去噪、分割)、分析和模型预测。在本篇综述中，我们介绍并定义了上述关键概念，同时讨论如何将这一领域的技术应用于核医学影像，特别是影像（基因）组学。 关键词：人工智能，机器学习，深度学习，影像组学，影像基因组学 前 言 核医学和放射学在过去20年里取得了巨大进步，这主要得益于硬件的发展，例如在2000年代多模态成像设备的发展 [1] ，以及高速探测器技术的发展 [1,2] 。软件的革新也使得重建图像的空间分辨率和信噪比得以显著提高，比如将点扩展函数和飞行时间(ToF)技术整合到PET图像重建过程中 [3] 。尽管核医学影像本质上是定量的，但在大多数临床出版物、临床试验，特别是常规临床实践中，核医学图像的应用途径通常是非常局限的(例如：以视觉或半定量的方式分析影像)。当前，研究人员似乎对医学图像进行多特征提取的自动化分析越来越感兴趣，包括裸眼，即使是训练有素的专家的，不能获得的那些特征 [4,5] 。这些发展及变化的主要目标是为了更好地利用影像检查所提供的数据，从而影响精准医学环境下的患者管理工作流程。因此，在这一新的框架下，医学影像应发挥更大的作用，并在诊断之外成为覆盖治疗计划、疗效监测和评估、模型预测和分层不可或缺的要素，即成为未来临床决策系统中的重要组成部分。 本文的目的是给出人工智能(AI，机器/深度学习)和影像基因组学的定义，同时对这些技术在核医学成像中的潜在应用提出一些见解。 人工智能、机器（深度）学习和影像（基因）组学的定义 人工智能这个术语是一个“模糊概念”，根据不同的语境、时间和应用场合，其有许多种可能的定义。作为一门学科，它被认为是于1956年在达特茅斯会议上确立的 [6] 。一个更普遍的定义为：“机器表现出来的智慧，与人类和其他动物所展现的自然智慧形成鲜明对比”。然而，就现在的医学影像而言，一个更具体的定义可能更为恰当：“系统能够正确地解释外部数据，从这些数据中学习并利用所学实现特定目标或完成特定任务的能力，具有灵活的适应性” [7] 。随着算法处理的任务越来越复杂，那些被认为需要“智能”的算法有时会被从AI领域中剔除，从而导致有“AI尚未完成”的论调 [8] 。举一个这方面的例子：字符识别，它可能不再被视为“人工智能”，因为它现在已经成为一种标准的常规使用的技术，例如其在邮政服务中的应用。如今通常被视为AI的算法中众所周知的功能包括语音识别，更重要的语义理解、语言翻译、掌握复杂的游戏，例如围棋 [9] 和最近更复杂的策略视频游戏 2 ，或者自动驾驶汽车。 人工智能系统可分为分析型人工智能、人类启发型人工智能和人性化人工智能 [7] 。分析型的人工智能系统只具有与认知智能相关的特征，利用过去的经验学习进行预测。人类启发型人工智能系统除了能够认知元素外，还具有情感方面的智能和理解能力。人性化人工智能系统能够展现出认知、情感和社交方面的智能，并且在与他人互动时具有自我意识和自我认知。在二十一世纪，人工智能技术的发展得益于理论认识的提高（例如：在神经网络数学中）、计算机性能的进步（例如：图形处理单元，GPU）、海量可用于学习的数据可在更大范围内的获取途径（例如：通过社交网络和其他平台，云存储/计算等方式）以及算法和库本身的可利用性。因此，现在研究人员可以将旧的概念和理论实际应用到现实生活中的问题和任务中，即使是现有商用系统上的非专业人士也能够运用这些概念和理论。 在医学影像方面，临床医生需要通过影像来完成许多任务，理论上都可以由人工智能来完成，包括但不限于：病灶检测、疾病分类、诊断和分期、定量化、治疗计划（靶区和有风险器官的勾画、剂量优化）、治疗的反应和预后的评估 [10] 。自动化有望使这些任务以更高的鲁棒性和可重复性得以完成，甚至还可能使这些任务在更短的时间内以低错误率得以完成。显然，在除医学影像以外的其他方面，人工智能也可以提供改进实践的解决方案，例如：改进操作流程、财务管理和质量提升等 [11] 。为医学影像分析任务而开发的大多数（如果不是全部）人工智能系统都属于分析型系统的类别，因此可以归类为机器/深度学习技术。 机器（深度）学习 机器学习是通过实践学习和改进算法的研究，它本身就是AI的一个基本概念。机器学习通常分为无监督的学习和有（半）监督的学习。无监督学习是在未标记数据中查找模式 [12] ，而有监督学习使用标签来推断分类或归纳，半监督学习通常用少量的标记的数据和大量未标记的数据进行分类或归纳 [13] 。在医学显像方面，标准工作流程或机器学习流程通常会被直接应用于完成大多数的任务（如图1所示）。
图1 影像组学流程与一般的机器学习和深度学习流程图的比较 深度学习(与如上所述的“浅层”学习方法相反)是属于机器学习领域的一类方法，这些方法大多基于所使用的特定类型的人工神经网络，有时具有大量的层和节点。因此，深度学习是一种特定类型的机器学习，它本身就是AI的一部分（如图2所示） [17] 。
图2 深度学习是机器学习的一种特定类型，两者属于AI概念 这些技术依赖于多层非线性处理单元链接起来进行特征提取和转换，其中在每两个连续层间，后一层的输入是前一层的输出，因此，与不同抽象级别相对应的多层特征信号可以被学习 [18] 。尽管神经网络在很早之前就被设计出来了，但通过通用程序进行有效学习能力的“深层”网络是最近才出现的。此外， 卷积神经网络(CNN)在计算机视觉和成像应用的主要影响被认为是在2011年和2012年的真正突破。使用反向传播（B-P）算法训练的CNN训练已经存在了数十年，GPU的实现也有好几年了。然而，在2012年，Cire şan 等人展示了在GPU上实现的最大池化CNN是如何在许多视觉基准中为研究人员提供更好的结果。同年，Krizhevsky等人使用类似的CNN设计，以比浅层机器学习方法好得多的性能赢得了ImageNet竞赛 [19] 。 这些技术与上述“旧”机器学习方法之间的主要区别之一是，这些网络的目的是从数据本身(如图像)中学习与给定任务(例如，分割或端点预测)相关的特定模式，而不是依赖于“工程的”或“手工的”特征(包括专家的知识) [22,23] 。在这方面，这些方法可以认为是一种思考模式的转变，因为它们可依赖通用的学习过程为研究人员提供“端到端”的工作流程(如图1所示)。 因此，用户干预，例如，检测和选择感兴趣的对象以便对其进行进一步的表征，可以被极大地简化，甚至可以说是不必要的。另一方面，当我们考虑使用这些技术时需要充分了解到它们带来的许多挑战。深层神经网络具有大量的超参数，由于计算资源和时间的限制，通过探索参数空间来寻找最优参数通常是不可行的。一些技巧可以帮助我们加快计算速度，例如在几个样本中同时计算梯度(批处理)。GPU的强大处理能力可以使训练速度得到显著提高。深层神经网络也容易出现过度拟合，这一定程度上是因为深层神经网络中的大量的层使得深层神经网络可以对在训练数据中所观察到的罕见依赖关系进行建模。这种情况下，我们通常采用各种方法，例如正则化和降维，来限制过拟合情况 [24] 。还可以通过诸如缩放和旋转的方法来增加数据，以增加所需训练集的大小 [25] 。最后，迁移学习是一个重要的组成部分，即对不同数据集，尽管可能是较大的数据集，提取较小数据进行预训练对其进行更精确的参数调整 [26,27] 。 影像（基因）组学 在过去二十年中，PET/CT硬件和重建软件均有所改进，同时研究人员在PET/CT图像处理和分析领域也取得了一些进展：噪声过滤 [28,29] 和部分容积效应校正方法 [30] 可以进一步提高PET图像的视觉质量和定量精度。此外，（半）自动图像分析算法可以检测到感兴趣的病灶 [31] ，并且可以以比人类专家更高的可重复性和鲁棒性来勾画它们 [32-34] 。这些进展通过从预处理和分割后的PET/CT图像中提取定量指标（“手工的”或“工程的”图像特征），让研究人员可以对器官和肿瘤进行更全面的表征。在这种情况下，当前有关PET/CT成像的大部分工作都集中在临床上最常用的放射性示踪剂上，即 18 F-氟脱氧葡萄糖（ 18 F-FDG），很少有研究考虑其他示踪剂 [35] 。图1所示的四个步骤（预处理、分割、特征提取和建模）是影像组学领域的关键组成部分。“影像组学”一词首次出现在2010年，并且2012年研究人员对影像组学的正式框架进行了全面的描述 [36] 。从前面的部分我们可以知道，影像组学仅仅是标准机器学习流程（如图1所示）在医学图像方面的一个应用。影像组学研究领域发展背后的基本原理是医学图像包含肿瘤表型的特征，这些特征至少可以在较小的尺度上反映出潜在的部分病理生理学的过程，甚至包括基因水平的变化。这就是为什么“影像组学”这一术语经常与基因组学相关联，并被称为“影像基因组学”。影像基因组学事实上含有两种不同的含义。第一种，旧的含义与放射生物学有关，而和现在含义不同。第二种涉及影像组学和基因组学的关联/组合，它可以分为两种不同的方法。第一种方法研究两者之间的联系，即影像组学可以解释或“解码”哪一些基因组学信息。这种方法已被称为“显像基因组学” [37,38] 并已被研究人员大量地研究过了 [39,40] 。另一种方法主要关注将两部分的信息相结合，该方法利用他们之间具有互补价值的信息来建立更有效的预测模型。 人工智能、深度学习和影像（基因）组学在核医学影像中的应用 人工智能在核医学中的应用极为广泛且前景广阔，其可在多个方面产生影响 [41] 。第一步是在探测器水平上使用人工智能对图像重建的数据处理，包括与检测过程相关的不同物理过程(如衰减、散射)的校正。除了图像重建步骤之外，人工智能还可以用于不同图像的处理过程，包括去噪、分割和融合。最后，人工智能可以用于基于图像信息的建模，这将有助于实现基于图像的个性化医疗的决策。 在检测方面，最近的工作包括通过使用CNN提高PET图像分辨率，改善具有大像素化晶体 [42] 的PET扫描仪的噪声特性，以及直接从配对符合数字化探测器波形中估计飞行时间 [43] 。将深度神经网络集成到迭代图像重建过程中，可以提高最终的图像质量 [44,45] 。深度学习方法已经被研究人员提议用于PET/CT和PET/MR的衰减校正和配准，并已被证明能够生成高精度的衰减图 [46-50] 。在同样的背景下，深度学习已经可用于改善具有飞行时间PET数据的衰减校正和放射性活度的最大似然重建（MLAA） [51] 。去噪处理就是成功使用深度学习技术中一个最受欢迎的图像处理应用之一，例如从低剂量图像生成足够剂量PET图像 [52] 或直接对重建的PET图像进行滤波 [29] 。 图像中病变的自动检测、计数、分割/特征化等功能在疾病的诊断、治疗计划制定和疗效的监测等方面有广泛的应用，但更广泛的是，这些功能也适用于所有的影像（基因）组学。在很长一段时间里，依赖于旧的浅层机器学习框架的方法并不能达到自动并且准确的水平，不能完全将其转化到临床实践中，也不能在影像组学分析中对数百名患者进行快速处理。最近的一些研究进展仍然涉及使用“旧的”机器学习技术 [53] ，但越来越多的人依赖于深度学习方法，以希望其能极大地提高自动化和性能。事实上，CNN在医学图像分割任务中的应用非常成功 [22] 。这可以通过以下事实来解释：与分类任务(每幅图像一个标签)相反，分割学习发生在体素水平（每个体素一个标签）。因此，学习数据数量允许对网络参数进行有效地训练。例如，尽管在最近的PET功能体分割MICCAI挑战中只有很少的训练示例可用，但基于预训练CNN的方法得分最高（虽然其分数没有明显高于一些常规的技术的分数） [32] 。CNN也被应用于多模态PET/CT协同分割 [34,54,55] 。基于深度学习框架的肿瘤检测和分割方案可能为影像组学的这一步骤提供全自动解决方案 [31,55,56] ，从而解决这个重要的瓶颈问题。 预测模型和基因组学研究已经严重依赖于机器学习方法 [16,57-59] ，尽管这些方法大多运用于放射学领域，而不是核医学领域。一些对机器学习和深度学习方法的评价显示特征选择有所改进，模型构建更稳健，影像组学PET特征也变协调了 [59-63] 。然而，只有少数的研究通过将深度网络CNN作为端到端方法来探索深层网络CNN所能达到更高自动化水平的潜力，并且大多数研究都在CT及MRI领域 [64-70] ，只有少数研究是关于它们在核医学成像（如FDG PET [71-73] 和SPECT [74] ）中的应用例子。 讨 论 目前，尽管有关深度特征使用及其与常规影像组学特征相结合的研究都是在CT和MRI领域进行的，但相同的概念也可应用于核医学影像。用一种基于端到端深度学习的方法替代通常的机器学习/影像组学方法可能是一种解决影像组学中一些问题或局限性的有效解决方案。在这一方法中，所有步骤是通过一个（或几个）神经网络单独并顺序执行（分割、特征萃取、建模）。然而，这种方法实际上是用其他在使用深度学习时所面临的具体挑战取代了原先的挑战。首先，这些方法需要大量的数据，其需要的数据集比影像组学通常研究中所需的数据集大得多。因此，如迁移学习和数据扩增或依赖分割网络来构建分类器 [75] 等方面的技术和技巧变得至关重要。其次，可提供可解释模型的需求在临床应用中也很重要。因此，很有必要向终端用户提供关于网络决策方面的反馈和解释，例如使用网络可视化技术 [76] 在输入图像中生成热点图而突出图像中的某个区域，甚至包括肿瘤在内，这些与最后做出的决定最相关。这对于理解和纠正算法造成的其余错误以及试图解决其他问题（包括监管、法律和责任）也很重要 [77] 。 在研发用于临床使用的大多数计算机方法的设计中，重大的思考模式转换正在发生。目前我们还不清楚需要多长时间才能将深度学习方法整合至临床核医学实践工作中，并使大多数临床工作实现完全自动化。目前，这些进展主要集中于解决最常见临床问题，因为研究人员可在该领域获得足够多的数据。 大多数已开发方法的目的是为了解决一项特定任务中的一个问题。尽管这些AI方法可能会很擅长解释图像和上下文信息，但他们通常无法像人脑那样建立联想，也无法代替临床医生完成所有任务。此外，他们在各种情况下的表现可能还没有达到各个领域的专家水平，因此，一名完整的具有人工智能的核医学医生，仍然属于科幻小说的范畴。另一方面，随着这些新技术整合到核医学医师的实践中，核医学医师的角色可能会发生变化，因此，将这些方法和概念的基本了解归为核医学医师培训的一部分显得非常重要。核医学医师自己也可能会为AI的培训做出贡献，为日后他们使用的工具提供更多的专家知识和经验。 在AI系统学习中，数据的可用性仍然是一个关键瓶颈，因为精心选择的数据（为确保训练数据符合许多质量标准，通常需要专家参与并且非常耗时间）根本不适合用于所有任务，并且数量也不够。另一方面，深度学习软件平台是开源的，因此，创新思维的实验和共享机制已大规模地快速发展，这最终也可能在数据处理和数据可用性方面提供帮助。对于正确训练机器和深度学习模型的另一个问题是，在图像采集和重建（尽管EANM，SNMMI和RSNA等社会组织做出来长期努力）方面，以及机器（深度）学习技术自身（包括但不限于：影像组学的定义、专业术语、实施、软件、机器学习的方法论、实施以及优化），都缺少标准化。对于训练通用模型来说，扫描器模型、供应商、采集协议和重建设置中的巨大差异性和多变性是一个巨大的挑战，这尚未解决。然而，我们应明确强调和支持一些正在进行的努力，例如用于影像组学的标准 [78-80] 和图像生物标志物标准化倡议（IBSI）以及统一的/标准化技术 [63,81] ，以便今后进一步改善上述情况。 （余略） 中国医师协会核医学医师分会科普与信息化工作委员会科普与翻译组 本期翻译由以下翻译组委员翻译： 沈晨天：上海市第六人民医院、住院医师、博士 唐毅：桂林医学院第二附属医院核医学科主任，副主任医师 饶茂华：重庆医科大学附属第二医院核医学科，中级医师、硕士 白侠：内蒙古医科大学附属医院核医学科、副主任医师、硕士 赵敏：中南大学湘雅医院核医学科（PET中心）、副主任医师、博士 张茜：山西省肿瘤医院核医学科、副主任医师、博士 靳会宾：河南省人民医院核医学科、主治医师、硕士 王磊：北京市石景山医院核医学科科室负责人、主治医师、硕士学位 李桂英：北京老年医院核医学科主任、主任医师 复旦大学附属肿瘤医院宋少莉教授校稿 首都医科大学附属北京友谊医院李春林教授终审。 附：特邀校稿专家简介
宋少莉 主任医师、教授、博士研究生导师 复旦大学附属肿瘤医院核医学科主任， 上海市质子重离子医院核医学科主任 中华医学会核医学分会第十届青委副主任委员 中德医学会核医学分会常委 上海医学会核医学分会青委副主委 上海市抗癌协会第八届理事会理事 上海市核学会实验核医学与核药学主委会副主委 上海市中西医结合核医学分会常委 中华核医学与分子影像杂志、国际放射医学核医学杂志编委。2008年博士毕业于上海交通大学，2009-2010年于美国德克萨斯州MD安德森癌症中心影像诊断系博士后，入选上海市浦江人才计划、上海交通大学医学院“新百人计划”、上海交通大学医学院高峰计划“研究型医师”，主持国家自然基金项目4项，发表SCI 论文43篇。 图文编辑：秦珊珊 |
|
|
