摘要

本文介绍了一种结合3D U-Net和Contextual Transformer（CoT）的高级方法，用于在磁共振成像（MRI）中精确分割脑肿瘤。该方法通过扩展CoT的架构至3D格式，并将其与基础模型无缝集成，利用MRI扫描中的复杂上下文信息，强调了元素在扩展空间范围内的相互依赖性。该模型通过从CoT同步肿瘤质量特征，相互增强特征提取，从而精确捕捉肿瘤质量的详细结构，包括位置、大小和边界。实验结果显示，该方法在BraTS2019数据集上的分割性能优于当前最先进的方法，实现了82.0%、81.5%和89.0%的Dice分数，分别对应于增强肿瘤、肿瘤核心和整个肿瘤。

原理

本文提出的模型结合了3D U-Net和Contextual Transformer（CoT），通过集成上下文信息和自注意力学习，增强了输出特征图的表示能力。CoT块首先将3D输入特征图转换为键（K）、值（V）和查询（Q），然后通过k × k × k卷积在所有相邻键上应用，以上下文化每个键表示。接着，上下文键和查询合并，并通过两个连续的1 × 1 × 1卷积生成注意力矩阵A。动态上下文表示通过特征图A和值V的元素级乘法获得，最终输出（Y）通过合并静态上下文K1和动态上下文K2得到。这种设计有效地利用了MRI图像中的丰富上下文信息，提高了肿瘤分割的准确性。

流程

该模型的主要工作流程包括两个主要组件：3D U-Net主干和3D上下文感知Transformer模块。首先，3D U-Net模型通过下采样和上采样层分析从原始图像中提取的空间信息。然后，3D上下文感知Transformer模块通过增强的通道注意力模块探索MRI图像中的空间信息和上下文，彻底利用特征，并改善各种肿瘤区域的表示。整个网络通过Dice Loss和交叉熵损失进行优化，确保模型能够准确地分割肿瘤结构，包括其位置、大小、形状和边界。

应用

该模型在医学图像分析领域具有广泛的应用前景，特别是在脑肿瘤的精确分割和诊断中。其高精度的分割能力可以显著提高医疗诊断的准确性和效率，减少医疗成本和时间。此外，该技术还可以扩展到其他医学图像分割任务，如肝脏疾病和肺部病变的分析，进一步推动医学影像技术的发展。