|
细胞核分割在病理学分析中至关重要，因为它能够帮助医生和研究人员精确地定位和分析病理图像中的细胞核。细胞核的形态和位置对于诊断、预后评估以及治疗方案的制定至关重要。然而在临床环境中，病理图像的染色质量、染色变异以及组织形态的多样性给细胞核分割任务带来了挑战。近年来出现了一些用于细胞核分割的深度学习模型，但不能能同时解决这些复杂问题。 为此，来自西北工业大学的研究团队于2023年3月在Expert Systems with Application期刊上发表了名为《DAN-NucNet: A dual attention based framework for nuclei segmentation in cancer histology images under wild clinical conditions》的文章，文章提出了一种新颖的DAN-NucNet模型架构，该架构基于UNet，并融入了空-通道注意力模块。此外，还在编码层中引入ResNet块。该方法通过同时关注通道和空间特征，有效地解决了形态变异和染色变异等问题，从而在分割性能上实现了显著提升。 原文信息： DAN-NucNet: A dual attention based framework for nuclei segmentation in cancer histology images under wild clinical conditions 原文链接： https://www./science/article/pii/S0957417422019637 期刊信息： Expert Systems with Applications,IF=7.5   论文创新点  1.该研究的DAN-NucNet模型将双注意力机制嵌入到UNet中，使其对由于形态变异、组织和染色差异以及染色质量引起的恶劣条件的敏感性降低。 2.该研究将传统UNet编码器的卷积块替换为ResNet残差块，能够有效解决梯度消失问题，进行深层次特征学习。 1 实验方法 DAN-NucNet模型在编码器和解码器之间嵌入了空间通道注意力块，形成了作为中间层的空间-通道注意力模块，以增强特征表征和模型性能。此外，为了解决梯度消失的问题，研究人员用重新设计的ResNet残差块取代了卷积块，这些残差块与最大池化层一起构成了DAN-NucNet模型的编码器部分。解码器由注意力融合和转置卷积组成。图1展示了模型及其构建块的示意图。  图1. 介绍DAN-NucNet模型架构以及注意力机制和ResNet块。 残差块 残差块在各个层级上都能提取出丰富的语义特征。该研究对原始的ResNet残差块进行了重新设计，使其更具鲁棒性。然后，经过一个3×3的卷积层、ReLU激活函数和批量归一化层。接下来是另一个1×1的卷积层和ReLU激活函数。将上述处理后的输出与输入进行残差连接，实现浅层语义特征与深层语义特征的融合。最后，输出再经过一个3×3的卷积层、ReLU激活函数和批量归一化层。建议的残差块如图1所示。残差块可以表示为如下公式：  注意力机制 为了解决直接跳接带来的信息流失和梯度问题，研究人员引入了空间-通道注意力机制。并且在特征融合之后，将转置卷积层添加到解码器的末尾，而不是简单的上采样。这样的处理使得网络能够更好地学习到高级语义特征和细节信息的复杂关系，从而为染色不佳的切片提供了更好的性能。通道和空间注意力块如图1所示。这些块的数学表达式定义如下：  其中HFk,k表示卷积，k表示内核，F表示滤波器，⊕表示串联。Ac和As分别是通道注意力和空间注意力模块的输出，Fd分别代表解码器特征，Fe分别代表编码器特征。 最终，通过对空间注意力图和通道注意力图与编码器特征进行元素级别的乘法运算，可以得到经过精炼的特征：  损失函数 该研究面向细胞核分割任务，选用的分割损失函数表达式如下：  数据集与实验设置 通过三个不同染色的数字病理切片数据集对所提出的架构进行了评估。数据集一是由Gamper等人提供的PanNuke数据集，来自19种不同的组织，主要包括头颈部、乳腺、肝脏、前列腺、肺等。该数据集包含半自动标注的20万个癌细胞和非癌细胞核。数据集二是Kumar数据集，包含7种不同的正常和癌变组织，即乳腺、膀胱、结肠、肝脏、肾脏、前列腺和胃。该数据集包含30张图像，约22000个核。数据集三是CPM17数据集，主要集中在细胞核的分割和分析上，包含总共7570个核，图像以40倍和20倍放大倍数拍摄。 由于三个数据集来自不同的来源，研究人员对其进行了预处理，以将其转换为单一的标准格式。省略空白图像或没有标签的图像，且图像的大小应为256×256，过大则从图像中提取256×256的patches进行缩放。放大倍数应为40倍，若不符合则通过数字放大或缩小图像，以产生40倍的放大效果。对训练数据集进行数据扩增操作：垂直，水平翻转，旋转和移动等处理。 该研究提出的架构基于Keras库开发。该模型使用Nvidia GTX 1660 Ti进行训练。学习率初始值为0.003。在训练过程中，当连续5个迭代的损失函数改进幅度低于时，学习率将减少一半。当验证损失在连续10个迭代中没有改善时，将停止训练过程。 2 实验结果 该研究选用了F1分数、Jaccard指数、精度和召回作为性能评估指标。精度衡量的是与真实值相匹配的阳性检测的纯度，而召回衡量的是计算机预测的阳性结果与真实值的匹配程度。F1分数定义为人工标注图像与计算机分割图像之间的空间重叠程度。Jaccard指数用于衡量人工标注图像与计算机分割图像之间的相似度。 与NucleiSegNet算法框架对比 表1、表2展示了使用PanNuke和Kumar数据集得到的组织分割结果，将提出的方法与当前优秀的NucleiSegNet算法框架进行了比较。可以看出，在F1分数和Jaccard指数方面，所提模型在两个数据集上均优于NucleiSegNet。在肾上腺、胆管、膀胱、乳腺、肝脏、前列腺、睾丸和胰腺等组织部位，DAN-NucNet模型都显示出更好的性能。然而，在胃方面，NucleiSegNet在精度方面表现更好。在所有性能评估指标中，所提架构的平均性能显著提高。图2的箱型图中能够看到得平均性能的显著提高，异常值的显著减少。 表1. 与NucleiSegNet相比，该研究框架在多器官PanNuke数据集上的分割质量度量。  表2. 与NucleiSegNet相比，该研究架构在多器官Kumar数据集上的分割质量度量。 图2. 通过箱型图比较了该研究框架与文献中性能最佳的模型(NucleiSegNet模型)之间的性能。 此外，DAN-NucNet模型也具有很好的泛化性，表1和表2显示在20种不同组织内对其性能进行了评估，该模型的泛化性能良好。图3展示了PanNuke数据集中不同组织的模型视觉效果和在不同条件下获取的各种组织学图像。 图3. PanNuke数据集在不同条件下的视觉效果示例。每种组织的第一行显示原始图像；第二行显示用黄色覆盖的实际标签；第三行显示由所提方法执行的分割。在第三行中，黄色表示真阳性，绿色表示假阴性，红色表示假阳性。 与现有框架对比 该研究方法还与三种不同的数据集中表现最好的现有架构进行了比较。这些架构包括UNet、DIST、ASPPU Net、SCPP-Net、SCA-Net以及MicroNet。表3详细比较了DAN-NucNet模型与现有架构的性能。 表3. 该表比较了在特定数据集上使用DAN-NucNet与现有相关方法的性能，并以特定数据集上所有癌症类型的平均值来呈现结果，采用公认的评价指标。 该研究模型共有927.6万个参数，参数远少于大多数现有架构。只有DIST、SCPP-Net和ASPP UNet的参数比所提网络少。参数比较如图4所示，基于对WSI计算的复杂性参数规模的控制是必要的。 图4. 就模型参数而言，比较DAN-NucNet架构与现有文献模型的复杂度对比。 模型鲁棒性分析 在标准的放大倍数(20倍和40倍)范围内，该网络在图像放大处理方面表现出色。如图5所示，在复杂的环境中，即便是专业的病理学家也难以识别细胞核。然而，与当前的先进技术相比，该模型在可接受的运行范围内表现良好。 图5. 每行图像展示了在不同条件下的组织学图像及其原始标签、分别使用ASPP UNet、MicroNet、SCA-Net、NucleiSegNet和该研究模型进行分割的分割图像。 消融实验 研究人员进行了4个阶段的消融实验，分别使用最大的数据集PanNuke评估了没有空间注意力机制、通道注意力机制和ResNet块的网络。此外还评估了使用上述建议的损失函数而不是交叉熵损失函数进行模型训练的结果。消融的结果如表4所示，验证了关于双注意力机制的使用、建议的ResNet使用和建议的损失函数的假设。 表4. 该表格总结了对该研究模型进行的消融实验。 3 总结展望 该研究提出了一种名为DAN-NucNet的UNet网络结构，该结构基于空间通道注意力机制，专为计算机辅助病理图像分割而设计。该方法充分利用了空间和通道特征以及ResNet模块的稳定性，尤其适合于目标细胞核的分割。研究在多个大型数据集上进行了全面测试，证明了该网络在面对不同病理变化和挑战时的优越泛化能力，而且该研究模型的参数规模小，有助于计算机辅助病理图像的应用。然而由于缺乏数据集，目前DAN-NucNet模型仅在上皮组织、结缔组织/软组织和坏死组织的细胞核上进行了测试，拥有良好的泛化能力和分割效果，但在其他类型的组织上的适用性和效果尚未得到验证，还需要对其他组织类型开展进一步测试。 微信号｜yxdcxj888 |
|
|
来自： doctorwangfovn > 《待分类》
