深度学习算法，特别是卷积网络，在医学图像分析应用中表现出巨大的成功，尽管由于许多固有的挑战，相对较少的方法被应用于婴儿MRI数据，例如图像上不均匀的组织外观，生命第一年中相当大的图像强度可变性，以及低信噪比设置，但是这一方向的研究仍旧有极大的吸引力鼓励研究者继续深入。本文介绍了在两个选定的应用中解决这些挑战的方法，特别是在等强度阶段(6-9月龄)的婴儿脑组织分割和神经发育障碍的症状前疾病预测。对相应的方法进行了回顾和比较，并发现了一些未解决的问题，即低数据量的限制、类别不平衡问题以及由此产生的深度学习解决方案缺乏解释。我们讨论如何调整现有的解决方案来解决这些问题，以及生成模型如何成为解决这些问题的强有力竞争者。由于本文较长，我们今天来看本文的前三个部分，主要是背景介绍和深度学习在婴儿脑组织分割以及用于婴儿的早期疾病预测方面的内容，在后面的推文中，我们将继续推送本文的后两个部分：当前相关研究中面临的相应挑战以及如何建立生成模型。本文发表在Magnetic Resonance Imaging杂志。（可添加微信号siyingyxf或18983979082获取原文）1.介绍神经发育障碍(NDDs)是一组异质性疾病，其特征是大脑功能异常，包括非典型大脑发育导致的认知，沟通，行为和运动技能不足。注意力缺陷/多动障碍(ADHD)、自闭症谱系障碍(ASD)和智力障碍都属于NDD的范畴。这种情况可能会导致长期残疾，对患有这种疾病的儿童的成年生活造成严重的长期损害。由于缺乏诊断NDD或区分它们的生物标志物，这些疾病目前仍基于临床访谈和行为观察进行识别。因此，NDDs有共同的需求，包括：(1)开发一种临床有用的早期症状前测试，用于识别即将发展为神经发育障碍的婴儿，这能够在婴儿期进行更有效的早期干预；(2)通过检查相关的功能障碍脑系统并将其与典型的功能系统进行对比，对疾病严重程度进行双向评估，从而获得准确的长期疾病预后，这将有助于加速对潜在应用干预措施的评估。磁共振成像(MRI)的进步使得通过采集高分辨率图像对婴儿大脑进行无创可视化成为可能。详细的婴儿大脑多模态磁共振图像的大规模数据集的可用性不断提高，例如T1加权(T1w)、T2加权(T2w)、扩散加权磁共振成像(dMRI)和静息态功能磁共振成像(rsfMRI)图像为准确研究出生后早期大脑发育提供了独特的机会，从而深入了解NDDs的起源和异常发育轨迹。然而，与成人大脑环境相比，婴儿大脑磁共振图像的处理和分析通常更具挑战性。如图1所示，婴儿的脑部MRI图像受到组织对比度降低，组织内不均匀性大，区域不均匀的图像外观，年龄相关的强度变化，以及由于脑尺寸小而造成严重的部分容积效应的困扰。由于大多数现有工具都是为成人脑MRI数据设计的，因此婴儿专用的计算神经解剖工具是相对较新的开发。如图2所示，从婴儿结构MRI（sMRI）早期预测NDD的典型流程包括三个主要步骤：(1)图像预处理、组织分割和区域标记，以及基于图像的特征提取 (2)表面重建、表面对应、表面分割和基于表面的特征提取。(3)特征预处理、特征提取、机器学习模型训练和未知对象的预测。
图1.一个典型发育婴儿的T1w图像，分别在0、3、6、12和24个月大时进行纵向扫描。
图2.使用婴儿结构性MRI脑图像（sMRI）进行神经发育障碍（NDD）的早期预测的机器学习方法的典型流程。请注意，此工作流程采用了针对婴儿的处理和分析步骤。 随着这种多模式MRI婴儿脑部图像变得越来越普遍，可供研究人员使用的医学成像数据的集合在数量，大小和复杂性都在增加。例如，婴儿连接组项目（BCP）的目标是获得纵向高分辨率多模式MRI数据，从出生到5岁的典型发育儿童（500多名）。因此，这就需要开发可以从这些大型数据集中提取信息的方法。在大数据领域，人工智能（AI）和机器学习经常互换使用。然而，人工智能有一个比机器学习更广泛的概念，机器学习集中解决的是使用计算机模拟人类认知功能的问题。如图3所示，机器学习是人工智能的一个子集，它专注于算法技术的设计和开发，这些技术允许计算机系统从大数据中学习来发展功能或行为。经典的机器学习算法有许多适用于医学成像领域的应用。然而，大多数都需要通过仔细的工程设计和特定领域的专业知识来创建“手工制作”的图像特征。此外，这种传统的机器学习算法往往不能很好地推广到新的、以前未见过的数据。由于大脑形态固有的解剖学可变性、采集设置和MRI扫描仪的差异以及病理组织外观的变化，这个问题在医学成像应用中被放大。近年来，一种被称为深度学习的机器学习技术在许多人工智能应用中获得了广泛的应用，因为它能够克服经典机器学习算法的限制。
图3.文氏图说明了深度学习，机器学习和人工智能之间的关系。 深度学习有时被称为“深度神经网络”，指的是与只有一层数据的传统神经网络相比涉及更多层(图4)。与经典机器学习算法中的工程特征提取相反，这种深度网络架构能够通过自学习从输入数据中提取复杂的特征层次。通过对大量数据的训练，深度学习表现出令人印象深刻的性能和普遍性。这一成功主要归功于计算能力的快速发展，特别是图形处理单元(GPU)的迅速发展，这使得复杂的深度学习算法得以快速开发。已经针对不同任务开发了几种类型的深度学习架构，包括计算机视觉中的对象检测，语音识别和分类。反过来，深度学习在计算机视觉中的成功也将其用于医学图像分析，图像分割，图像配准，图像融合，病变检测和计算机辅助诊断。在本文中，我们以实例为基础，概述了最近开发的深度学习技术，并将其应用于婴儿脑MRI分割和NDD预测领域。此外，我们还将讨论性能差距，这些差距有可能由深度学习领域的新进展来弥补。
图4.两个前馈全连接神经网络的架构。包含一个隐藏层的经典神经网络和具有两个或更多隐藏层的深度神经网络(深度学习)。现代深层神经网络可以基于几十到几百个隐藏层。 2.深度学习用于婴儿脑组织分割准确地将婴儿MRI分割成不同组织类别的区域，例如白质（WM），灰质（GM）和脑脊液（CSF），是提取成像生物标志物的关键早期处理步骤。由于在生命的第一年中正在进行髓鞘形成和成熟过程，我们可以大致区分MRI图像中大脑不同外观的四个阶段，即(1)新生儿/婴儿阶段，其中WM-GM对比度与成人相比是相反的(≤4个月)，(2)等强度阶段(5-9个月)，此时WM和GM之间的对比度低或没有，(3)早期成人阶段(≥10个月)，此时WM-GM对比度与成人阶段(4)相似。如图1所示，在新生儿阶段（0–3个月）和成人阶段，T1w和T2w的MRI通常显示出合理的对比度，即使在新生儿阶段的信噪比（SNR）和对比度-色调比（CNR）较低时也可以准确分离出不同的结构。2.1新生儿阶段的脑组织分割新生儿大脑(≤1个月)的分割具有挑战性，因为预期的运动约束和新生儿大脑的小尺寸造成的较短扫描时间，导致较低的信噪比（SNR）和对比度-色调比（CNR）。此外，CSF-GM边界与大多数无髓的WM具有相似的强度分布，从而导致严重的部分容积（PV）效应。此外，由快速的大脑发育和正在进行的WM髓鞘形成过程引起的巨大变异性，在开发精确的分割工具方面带来了其他挑战。多年来，提出了几种基于非深度学习的方法来准确分割新生儿大脑，主要可分为参数，分类，多图谱融合，可变形模型。在NeoBrains挑战赛（http://neobrains12.isi.）中评估了新生儿组织分割方法，其中为T1w和T2w图像提供了相应的手动分割图像。大多数方法显示出准确的分割结果，而基于分类的方法显示出了高精度的结果，但与其他方法相比更为敏感。然而，由于大多数方法不能产生一致的准确结果，因此有髓和无髓WM的分割仍然是一个挑战。这主要是因为缺乏有效描述这些区域精确的人工分割的图谱集。为了改善当前的分割结果，将深度学习技术应用于此类任务（尤其是使用卷积神经网络（CNN）的深度学习技术）。然而，因为缺乏足够的，准确的手动分割数据来训练深度学习模型，只有少数研究试图将CNN用于此类任务。通过BCP和dHCP等项目有望解决这一问题，因为这些项目提供了公开的带注释的数据集。2.2等强度期的脑组织分割传统分割方法面临的另一个挑战是大约六个月的时候。在这个年龄阶段，T1w和T2w扫描都显示WM和GM的强度分布之间存在高度重叠，这对准确的组织分割提出了重大挑战。除了WM和GM之间的组织对比度极低之外，与成人扫描结果相比，等强度的婴儿MRI图像通常仍具有较低的信噪比和较高的部分容积。由于在受试者的自然睡眠期间获取等强度的婴儿MRI扫描，这存在影响图像质量的其他复杂因素，例如采集时间短和运动伪影增加。最后，生物因素，如大脑空间中可变的髓鞘形成率，进一步使等强度婴儿脑磁共振成像数据的分割复杂化。在本文中，我们将重点关注在等强度阶段准确分割婴儿脑MRI图像这一特别困难的任务，因为在此时间点开发的方法具有成功转换到其他时间点（包括新生儿阶段）的巨大潜力。为了解决这个问题，已经提出了许多传统的分割方法。基于图谱的方法通过使用单个图谱或更常见的多个图谱，结合了有关不同大脑结构位置的先验知识。在多图谱设置中，首先将图谱可变形地配准到对象图像，然后使用标签融合策略组合标签。除了组织分割以外，这种方法通常还用于皮层下的结构分割。基于图谱的分割技术在许多应用中显示出合理的准确性。然而，它们仍然面临婴儿人群中低对比度和强度不均匀性引起的配准误差的挑战。已经提出了多种技术作为改进步骤，以克服基于图谱的方法相关的一些限制。概率方法将分割公式转化为能量最小化问题，其中形状或空间先验约束体素概率。另一方面，基于变形的模型将细化基于图谱方法产生的轮廓，以更好地匹配计算图像边缘。这些细化方法通常需要大量的标记数据集，但是这些数据集通常是不可得到的，并且难以推广到多组织分割。一些研究还提出了纵向方法，其中纵向共配准采用在较老的成人阶段扫描的相同受试者图像。这样的方法依赖于可能不实用的后续扫描。最近，已经提出了不需要这种后续数据的替代方案，例如李提出的等强度婴儿MRI的解剖学指导的关节组织分割和拓扑校正框架。该方法自适应地整合了来自强度图像和估计的组织概率图的信息。尽管与以前的工作相比，通过这种方法获得的结果显示出合理的准确性，但是该方法仍然受到解剖先验选择的限制，并且依赖于工程的、潜在的非最佳区分特征，这些特征很难推广到更大规模的数据集。因此，需要能够以数据驱动的方式从婴儿数据中自动学习一般特征的技术。最近，可以通过不同的资源获得手动标记的六个月数据，这些数据包括细分挑战，例如2017 MICCAI挑战（http://iseg2017.web.）。在这一挑战中，研究人员应邀提出并评估他们在6个月婴儿脑MRI扫描中分割WM，GM和CSF的方法。大多数效果最好的方法都是基于深度学习技术的。特别是，基于CNN的深度学习方法在解决等强度婴儿脑MRI的分割方面已显示出出色的性能。下面，我们回顾一些用于此类分割任务的常用CNN架构。 卷积神经网络（CNN）：传统的深度神经网络的输入是矢量形式，与传统的深度神经网络不同，CNN会在输入2D或3D图像中的相邻像素或体素之间利用结构和空间信息。另外，CNN通过利用局部感受野，权重共享和子采样技术来限制深度学习模型的自由度（请参见补充图1）。因此，模型可以在医学应用中常见的数据集进行学习，并且不容易出现过拟合问题。尽管CNN于1989年首次提出，但直到深层CNN架构（例如AlexNet）的出现，才引起人们的兴趣，该体系在2012年ImageNet竞赛中取得了显著成绩。AlexNet代表了当前典型的CNN架构，由一系列卷积，池化，激活和全连接层（密集或分类）组成（请参见补充图2）。在图像分类任务中，AlexNet几乎将以前性能最佳方法的错误率减半了。从那时起，CNN架构变得越来越深，从而错误率降低，经常达到人类的性能水平。卷积层由可学习的卷积核或滤波器组成，用来提取输入特征图中不同位置的局部特征。卷积层的输出通过激活函数的非线性传递。整流线性单位（ReLU）及其变体（例如Leaky ReLU）是最常用的激活函数。这些函数能够避免梯度消失问题以训练更深的模型，梯度消失问题通常在更传统的tanh和sigmoid激活函数时发现。池化层使用预定义邻域的最大值或平均值作为输出值，进而对特征图进行下采样。为了对输入图像进行分类，将最终CNN层的输出分数与损失函数（例如，将分数映射到类别标签上的多项式分布的交叉熵损失函数）相关联。通过反向传播来迭代地最小化损失函数（通过使用随机梯度下降SGD来更新参数）来学习网络的参数，直到达到收敛为止。基于patch的卷积神经网络：如上所述，基于CNN的深度学习方法在医学图像分割（包括等强度的婴儿脑组织分割）中取得了巨大的成功。最直接的方法是采用基于patch的CNN架构，从输入图像中提取以每个像素为中心的NxN的patch，然后将其用于训练CNN分类模型，以中心像素表示的patch作为正确的组织类别（即WM，GM或CSF）。张等首先提出使用基于patch的CNN架构来分割等强度阶段的婴儿脑图像，其中将来自T1w，T2w和FA图像的互补和多模态信息用作输入以生成最终的分割图。CNN架构的输入是三个特征图，分别对应于T1w、T2w和FA 2D图像patch (参见补充图3)。然后，输入三个卷积层增加宽度，再向全连接层应用softmax激活函数，以获得输入中心像素的类别概率。patch大小的选择限制了此类方法性能。特别是，patch大小的选择会影响定位和分类精度。使用大patch可以提高分类准确性，但会导致由附加池化层引起的定位误差增加。另一方面，由于上下文信息的限制和对噪声的敏感性提高，使用较小的patch会有更好的定位和较低的分类性能。另外，由于涉及大量参数，这些方法很难训练，并且需要将CNN应用于大量位置，因此这类方法在计算上非常昂贵。基于patch的架构性能可以使用多尺度方法来提高，其中利用多个patch大小来构建多个路径，并使用具有softmax激活函数的全连接层将这些路径的输出进行组合。较大的比例保留了扫描中关于体素位置的隐含信息，而较小的比例提供了关于体素的局部邻域的详细信息(参见补充图4)。请注意，卷积核大小是自适应的，因为较大的卷积核用于较大的patch。虽然这种方法解决了patch大小选择问题，但是由于许多冗余的卷积和池化操作，使用滑动窗口会以低效率的计算方式独立地处理各个区域。全卷积神经网络：为了克服上述问题，可以使用全卷积神经网络(FCN)结构。FCN可以通过卷积层进行端到端训练，以产生密集的像素输出，而网络参数要少得多，因为它避免了使用全连接层。具体而言，FCN的架构与典型的CNN的架构相似，最后一个全连接层被具有大感受野的卷积层代替。与全连接层捕获的全局上下文不同，使用FCN可以大大减少训练参数的数量，并允许基于局部空间上下文学习表示和决策。因此，FCN可以简化和加速分割深度神经网络的学习和推理。特别是，在这种体系结构类型中，类似于语义分割，为输入图像的每个体素给出了分类。它们包括一个编码器网络，使用卷积层和池化层提取紧凑的高级特征；一个解码器网络，使用固定插值方法对编码器提取的高层特征进行一次上采样。这产生了按像素分类的概率，对像素进行分类并产生所需的分割。聂等提出了多重全卷积网络（mFCN），使用T1w，T2w和FA图像的多模态信息对等强度的婴儿脑图像进行分割。每个模态都使用单独的FCN网络，不仅将原始低级特征图中的三个模态数据进行组合，还采用了深度架构来有效地将其从三种模态的高层表示融合在一起，以产生最终的分割效果（参见补充图5）。由于分配给每个类别的体素的不平衡，使用了加权损失函数，得出的权重与相应组织类别的体素分数成反比。尽管这样的方法避免了基于patch方法的某些缺点，但是它的实现依赖于2D切片数据，该数据不考虑切片方向上的解剖环境。此外，这方法假设来自不同模态的高级表示提供互补信息，但情况并非总是如此。扩张卷积：为了合并更大的解剖背景，Moeskops和Pluim探索了如何使用扩张卷积对等强度阶段婴儿脑MRI图像进行分割。扩张CNN是一种特殊类型的神经元网络，用于图像分割，可以实现大的感受野，同时限制可训练参数的数量。扩张卷积在卷积层上增加了另一个参数，称为扩张率（参见补充图6）。扩张率控制着卷积核元素之间的间隔，因此，例如，扩张率为2的3×3内核将具有与未扩张的5×5内核相似的感受野，而仅使用9个参数而不是25个参数。所提出的FCN网络在四个网络分支中利用三个平面(轴向、矢状和冠状平面)扩张卷积和3D卷积，其中扩张分支使用具有增加的扩张因子的3 × 3核层。所有网络分支都使用T1w和T2w图像的双通道输入。U-Net：曾和郑提出了一种方法，其中使用了上下文引导的多流两阶段3D FCN架构。如图5所示，第一阶段FCN-1用于从输入的T1w和T2w图像中学习组织特定的概率图。在获得初始分割之后，为每个脑组织计算距离图以对空间上下文信息建模。第二阶段FCN-2基于计算出的空间联合信息和原始多模态MRI图像获得最终分割。 FCN-1和FCN-2的设计均受到著名的FCN架构的启发，该架构被开发用于生物医学图像分割，称为U-Net。U-Net通过使用长时跳跃连接和短时跳跃连接来修改原始FCN架构，这类似于残差网络中引入的连接。这使网络能够从更少的训练图像中学习并产生更精确的分割（参见补充图7）。类似于U-Net，FCN-1和FCN-2都由学习紧凑特征表示的编码器部分（收缩路径）和从学习到的表示中生成分割结果的解码器部分（扩展路径）组成。解码器部分分别应用于每个模态，并且来自所有模态的高级信息在解码器路径的开始处融合。为了减轻训练过程中可能出现的梯度消失问题，这对于完整的3D图像数据而言更加困难，除主网络的分类器外，还向网络中注入了两个辅助分支分类器。为了解决必须用有限的注释数据从头开始训练网络的问题，利用迁移学习的思想，通过在相关的分割任务上对网络进行预训练。 
图5. Zeng和Zheng提出的用于多模态MRI图像中等强度婴儿脑部分割的两阶段3D FCN架构图。第一阶段FCN将产生初始分割，然后使用距离图对大脑每个组织空间的上下文图建模。使用空间联合信息以及原始T1w和T2w图像在第二阶段获得最终分割。 其他的CNN方法：Dolz等提出将3D CNN集成用于等强度婴儿MRI脑图像的分割。受到最近密集网络成功的鼓舞，其中每一层都以前馈方式连接到隔层，提出了一种半密集架构，将所有卷积层直接连接到网络末尾，如图6所示。这种半密集架构允许在训练过程中有效地进行梯度流动，同时还减少了可训练参数的数量（比3D U-Net体系结构少一个数量级的参数）。网络研究了ReLU参数（PReLU）的使用，它是泄漏ReLU的参数版本，可通过学习额外的缩放系数来防止饱和。使用瓶颈层（1×1×1卷积）代替全连接层以限制参数的数量并确保网络的全卷积性质。研究了从多种MRI模式中组合信息的不同策略，特别是关于改善网络的早期融合（图6（a））和晚期融合（图6（b））策略的鲁棒性。最终分割是通过对上述10个FCN进行多数表决而获得的，这被证明增强了所提出的分割方法的通用性。集成预测器用于识别哪些图像具有不确定的分割，以及哪些大脑区域需要由专家手动检查和校正。
图6.Dolz等人提出的半稠密3D FCN集合示意图。其中使用（a）早期融合策略和（b）后期融合策略，融合来自T1w和T2w图像的信息。 最后，聂等人通过将传统的FCN架构扩展到完整的3D框架，扩展了他们以前的工作。在提出的3D架构中，较少的池化层用于减轻定位信息的损失，而在3×3×3的最小卷积滤波器上使用更多的卷积层，以便能够更好地捕获细节。与U-Net架构中的跳过连接类似，使用旨在更好地对小结构组织建模的信息传递（PT）机制，将粗特征图与反卷积层生成的密集特征图进行聚合。设计的PT操作涉及使用额外的卷积层来融合级联层之后的低级和高级特征，这有助于产生更精确的分割结果。作者还介绍了PT操作的另一种机制，称为卷积和级联（CC）子过程，其中将低级表示形式通过卷积操作映射到较高层，然后将两个级别的级联表示。这些额外的卷积层在训练期间带来了其他挑战，因此添加了批归一化（BN）层以加快网络的收敛速度。与其他竞争性3D CNN架构相比，它能够以更快的测试速度产生精确的分割。如果您对机器学习及其他脑影像数据处理感兴趣，欢迎浏览思影科技课程及服务（可添加微信号siyingyxf或18983979082咨询）：第十四届脑影像机器学习班（重庆，3.12-17） 第三十八届脑影像基础班（南京，2.23-28） 第八届磁共振ASL数据处理班（上海，3.1-4） 第三十九届脑影像基础班（上海，3.25-30） 3.深度学习用于婴儿的早期疾病预测对NDDs的早期预测是将精确医学应用于发展中的儿科人群的主要目标之一。NDDs的早期预测预计会产生重大影响，因为它允许早期和更有效的干预措施，从而有望改善预后。先进的非侵入性3D医学成像技术(如MRI)的发展提供了一种提取生物标志物的方法，以帮助NDD的早期诊断。通过检查皮层的大脑形态测量指标（例如皮层厚度和皮层表面积），广泛研究了大脑皮层的神经解剖异常。这种皮层测量通常从精细采样的皮层表面提取，形成具有100,000个或更多特征的高维特征列表，这些特征对应于皮层网格中的顶点数量(图7).利用这种皮层特征，几项研究表明，大脑在生命的第一年经历了巨大的变化。例如，在研究ASD时，已证明会发展为ASD的婴儿在6到24个月之间表现出各种年龄特异性的大脑差异，并证明了ASD结果和24个月测量的行为相关的早期大脑变化。尽管意义重大，但这些组水平的差异和脑行为的相关性并不允许被应用到临床实践中，对个人水平的结果进行预测。如果提取的神经影像标记物可以预测儿童预后最有益的干预措施，那将特别有益。为了实现这一目标，许多研究已经使用了传统的机器学习方法和MRI数据来对NDD（尤其是ASD）进行分类或了解其行为模式。然而，目前还缺乏在婴儿发病前对其进行前瞻性分类的研究。从MRI脑图像中学习时遇到的一些挑战；包括：(1)从皮质表面可靠地提取特定于所研究疾病的相关特征；(2)确定精确疾病诊断所需的皮质特征的最优简约子集；(3)以端到端的方式直接从高维特征空间学习，而不需要次优的单独降维步骤；(4)设计能够利用多模态生物标记预测疾病严重程度的分类器；(5)识别对分类器性能贡献最大的大脑区域及其相互作用。
图7.基于深度学习的示例框架，该框架使用从婴儿MRI脑图像中提取的高维皮层测量值对NDD进行早期预测。 利用深度学习技术来应对这些挑战的能力有限，这可能是由于缺乏基准的婴儿MRI数据集。需要由医学成像会议发起挑战，以鼓励进行基准测试和开发新的深度学习算法，用于NDD的早期预测。下面，我们将回顾最近应用在ASD的早期预测的深度学习技术，这可以扩展为未来基准测试的应用目标。是否可以根据症状前的MRI数据预测ASD？最近的一项研究表明，在具有高家族风险(HR)的婴儿中(他们有一个患ASD的哥哥)，脑成像可以预测ASD的诊断，根据早期的MRI数据，阳性预测值为80%。这项工作利用从6个月和12个月大时采集的T1w和T2w脑图像中提取的皮层表面特征，使用深度学习技术准确预测24个月时的ASD诊断。相比之下，在个体水平诊断预测中，行为特征（甚至是在18个月大时才测量出的特征）还没有产生足够准确的临床应用价值。在这个预测框架中，使用标准的期望最大化来计算脑组织分割，图谱调节的组织分类，然后使用修改过的CIVET工作流程从12个月的MRI图像分割中重建皮层表面。皮层表面由每个半球中的40,962个顶点组成，并且通过球面配准到平均表面模板来建立跨对象的皮层表面对应关系。局部表面积（SA）是在中间表面计算的，即在WM和GM外表面之间的中间距离处延伸的表面，以避免回或沟的过度或不足。使用相应的白质和外部灰质表面点之间的欧式距离计算局部皮质厚度（CT）。基于提取的特征，机器学习分类器可用于预测诊断结果。这样的分类器经历学习过程，在该学习过程中，他们为每组特征学习正确的类别标签。但是，在不进行过拟合的情况下，很难使用本研究中存在的高维特征空间来训练稳定的分类器。降维：克服这种过拟合问题的一种可能解决方案是采用有监督或无监督的降维技术。无监督的方法冒着丢失相关信息的风险，而有监督的方法往往更容易产生偏见，因此更难推广。如果可能的话，通过以下方式降低维度。先通过先前的解剖学知识总结特征来降低维度，例如由皮层细分来总结顶点方向的皮层特征。降维的目标有三方面：提高预测变量的预测性能，提供更快，更具成本效益的预测变量以及更好地理解生成数据的基础过程。在Hazlett等人提出的框架中，首先使用基于Brodmann的自动解剖标记图集，即AAL，总结了CT和SA测量的维度。然后，将深度学习模型用作第二次降维（图8（a））。首先使用训练的二进制掩码操作对输入特征向量进行二进制化，以允许在独立的两层贪婪网络上执行初始化，无监督的自动编码器训练过程（图8（b））。如图8（c）所示，然后通过单个分类层将监督训练步骤应用于自动编码器，单个输出表示二进制诊断标签。整个网络的权值通过反向传播进行微调，将深层网络视为传统的前馈神经网络。在这个有监督的训练步骤完成之后，最后一层被移除，并且最后一个隐藏层中的节点数量表示降维输出的最终维度。最后，由训练的深度学习网络生成的简化表示连同二进制训练标签一起被用于训练两类支持向量机(SVM)分类器。
图8. Hazlett等人提出的两阶段预测流程，用于ASD的早期预测。理解预测:虽然准确的预测可能与临床相关；提供如何进行预测以及如何更好地理解疾病的信息也至关重要。为此，识别在高维特征向量中定义的哪些输入特征对生成的低维表示具有最显著的影响是高度相关的，但是对于深度非线性降维方法来说，这是一个极具挑战性的问题。为了解决这一问题，作者提出了一种在完全训练的深度学习网络中基于学习的权重矩阵对不同特征的贡献进行排序的方法。特别地，所提出的方法在深度学习网络上向后工作，仅识别表示重量贡献层L > 50％的前一层（例如L-1）中的那些节点，并且重复该过程，直到到达输入层。结果：Hazlett等人最近报道的结果，证实深度学习模型可以有效利用6个月和12个月时sMRI扫描的形态学信息，以临床相关水平(88%的敏感性、95%的特异性、81%的阳性预测值和97%的阴性预测值)预测24个月时的ASD诊断。所提出的预测管道优于利用传统机器学习方法来执行降维的其他竞争方法，包括稀疏学习和主成分分析。此外，与管道中的降维和分类阶段都组合到一个阶段的完全深度学习架构相比，所提出的方法表现出更好的性能。改善预测：在同一数据集的另一项研究中，沈等人表明在皮层表面周围的蛛网膜下腔中存在过多的脑脊液（即轴外脑脊液）（或EA-CSF）出现在那些后来在6个月大时已经患上ASD的婴儿中。两项研究共同表明，通过扩展Hazlett等人的方法，可能在6个月早阶段大幅度提高预测性能。改善当前预测性能的方向包括（1）添加CT和SA以外的其他皮层特征，例如EA-CSF。（2）采用除AAL以外的其他皮质分组（3）调整训练方案，以解决组间固有的采样不平衡(患ASD的高家族风险儿童有1/5的机会患ASD)，以及（4）将深度学习方法扩展到最新的先进技术。我们小组正在进行实验，调查所有的建议。通过沿拉普拉斯流线对概率脑脊液体积求和，可以计算局部脑脊液测量值。Gordon等人基于功能的图谱不是总结局部皮质特征，而是基于几何的AAL图谱。为了解决训练阶段的类别不平衡，我们采用了过采样技术，如SMOTE。最后，增加丢弃法和权重衰减技术可用于调节网络并克服过拟合问题。 皮层上的卷积网络：尽管在Hazlett中获得了高精度水平，但这项工作的一个限制是它依赖于先前的皮层分割来降低高维皮层特征的维数，这在婴儿研究中尤其成问题，由于婴儿皮层表面分割的稀缺性，目前仅使用成人分割。因此，需要数据驱动的分类器，直接从高维特征空间学习，而不需要单独的特征缩减步骤。解决这个问题的一个方法是利用CNNs直接从原始高维数据中提取层次抽象的能力，几乎没有先验知识和更少的参数。然而，将CNN的使用扩展到输入特征位于不规则非欧几里得域(如大脑皮层表面)的应用是具有挑战性的。这些挑战源于在非欧几里得表面上缺少网格的概念，还需要在滑过输入表面时对卷积滤波器进行局部调整。最近，Mostapha等人提出了一种新的数据驱动方法，将经典的CNN扩展到非欧几里得流形，如大脑皮层表面(见图9)。利用测地线坐标的局部系统在每个表面点建立局部网格，以适应底层流形的固有形状。除了这个新开发的表面卷积，新的表面子采样和瓶颈层也被引入。为了控制训练参数的数量并能够学习更高级别的表示，使用自适应边缘折叠来执行重复的表面子采样，该边缘折叠保持原始几何、局部曲率和测地线距离信息的最佳近似。此外，瓶颈层用于控制特征图的数量，以避免有限大小的数据集进行训练时出现过拟合的可能性。
图9. Mostapha等人提出的CNN向皮层表面的延伸。几个表面卷积块并行地应用于每个半球，然后是全连接和丢弃层。在一项对阿尔茨海默氏症的单独研究中，所提出的皮层-CNN框架的可用性得到了证实，该研究预计CT会有显著差异。特别地，提出的皮层-CNN框架优于采用各种分割图集或使用传统的机器学习方法（例如稀疏编码）在应用深度学习模型之前执行所需特征缩减的竞争方法。基于2D皮层映射的卷积：除了直接在皮层上应用卷积网络，还可以定义一个映射，将数据带入一个可以应用传统CNN方法的空间。例如，闭合皮层数据可以映射到几何图像的规则2D图像结构上(见图10)。这允许直接使用传统的基于图像的CNN架构来直接从高维输入特征中学习，而没有上述皮层-CNN的复杂性。然而，对皮层上存在特征的几何图像进行的实验表明：通过这种简化的卷积方法获得的性能水平仍然明显不如直接在流形上的卷积学习。这很可能是由于映射到2D图像空间的非等距性质，导致皮层特征映射的皮层特定失真。如图11所示，为了证明所提出方法的通用性，皮层CNN架构被用于研究从6个月皮层下脑表面(而不是皮层表面)提取的特征对ASD的早期预测。主要是，我们检查了不同形态学特征的预测能力，如局部厚度和曲率信息，这些信息来自使用SPARM-PDM管道重建的皮层下脑表面。与包括简化几何图像CNN方法的替代方法相比，所获得的实验结果再次证实了皮层-CNN框架的优越性能。
图10.Mostapha等人提出的CNN扩展的替代方案。皮层可以被重新网格化到一个完全规则的结构上，称为几何图像，它允许使用传统的几何结构进行学习。
图11. Mostapha等人提出的皮层CNN架构。从6个月的皮层下大脑表面提取的特征，对ASD进行了早期预测。 维度结果预测：上述预测侧重于诊断分类结果。诊断类别之外的下一步是预测疾病相关特征的连续维度。特别是，患自闭症的高危婴儿将在语言、认知功能和联合注意力等多个维度上产生一系列结果。此外，大约三分之一没有患自闭症的婴儿仍然会出现与临床相关的认知和行为障碍。虽然这些障碍低于诊断临界值，但这些婴儿可能对症状前干预特别敏感。事实上，目前的努力是由我们小组利用出生第一年的高家族风险(HR)个体的MRI数据来预测个体在几个相关领域的认知和行为的后续测量中的得分。婴儿MRI脑成像在个体水平上预测认知和行为维度的后期得分的能力，将有助于在高风险婴儿中开发和实施有针对性的、个性化的、症状前干预。这一目标的成功将为基于预测的个人社交、语言、运动和认知能力的个性化(相对于一刀切)治疗方法的测试开辟可能性。目前尚缺乏对症状前干预措施有效性的证据，因为没有早期的预测性鉴定就不可能有效地进行此类干预措施。尽管如此，多项随机对照试验表明，早期干预措施（如基于联合注意事项的干预措施）可改善ASD患者的联合参与和语言效果。如果症状前MRI可以预测给定干预目标（例如，联合注意力）维度测量上的个体得分，则治疗可以更具体地针对这一功能领域。在最近的初步发现中，传统的机器学习技术，如支持向量回归(SVR)与自适应(等级预测)缓解特征过滤相结合，显示了使用行为测量(MSEL和AOSI)和基于MRI的测量(包括6个月大婴儿的SA、CT、功能连接性和扩散追踪成像)相结合来预测24个月语言能力标准化分数的能力。然而，仍然需要深度学习方法，其能够以数据驱动的方式学习预测此类持续措施，而不需要额外的特征降维步骤。在我们正在进行的研究中，我们有初步的发现，深度学习识别了ASD相关的特征，可以间接预测24个月时的连续社会能力得分。用于维度预测的多任务学习：受上述结果的鼓舞，我们目前正在研究使用多任务学习(MTL)框架，通过结合各种皮质测量直接预测连续的ASD相关分数。除了使用我们的皮层-CNN框架直接从皮层表面的高维特征空间中学习的能力之外，MTL还可以利用多个相关任务中包含的有用信息来预测不同的连续分数，以帮助提高所有任务的泛化性能，特别是在有限数据集的情况下。如图12所示,在深度神经网络中，MTL通常是用隐藏层的硬或软参数共享来完成的。在硬参数共享中，隐藏层在所有任务之间共享，而几个输出层分别用于每个任务。硬共享策略更常用，因为迫使网络同时学习不同的任务将导致依赖广义表示，这减少了过拟合我们原始任务的机会。另一方面，软参数共享允许每个任务具有其模型和参数，使用正则化技术(例如L2范数或迹范数)来保持模型参数相似。不同的多任务深度学习方法已经在各种医学图像分析应用中显示出成功，包括图像分割和退行性疾病的早期预测。然而，需要做更多的研究来有效地在婴儿大脑图像中应用类似的想法。
图12.在深度神经网络中执行多任务学习（MTL）的两种最常用方法。在本文的前三个部分中，我们介绍了目前在婴儿MRI环境中成功应用深度学习方法的两个应用实例，即婴儿等强度期脑组织分割和自闭症谱系障碍症状前疾病预测。这两种应用都是优秀的例子，传统的图像分析和机器学习方法不够强大，但是深度学习方法由于能够学习可变的异构输入数据中的非线性，应对在应对复杂关系时非常成功。但当前相关研究仍旧面临着许多调整，我们明天来具体看看主要的问题集中在哪些方面，以及作者对相关问题的探索对我们提出解决方法有何启发。
|
