摘要

本文介绍了一种针对多模态磁共振成像（MRI）分割和分类的增强型自监督学习方法，旨在通过避免模型崩溃来提高模型精度。传统的深度学习算法在处理MRI图像时需要大量手动标注的数据，这限制了模型的进一步改进。自监督学习（SSL）通过预训练从无标签数据中有效学习特征表示，但在多模态MRI数据上，大多数SSL方法忽视了模态间的相似性，导致模型崩溃。为解决这一问题，研究者提出了一种多模态MRI掩码自编码器（M2-MAE），包含混合掩码模式（HMP）和金字塔Barlow双胞胎（PBT）模块，通过重建掩码块来学习多模态图像的语义连接，并在BraTS2023、PI-CAI和肺气体MRI数据集上验证了其优越性。该方法显著提升了分割和分类任务的性能，支持对小病变区域的准确检测。

原理

M2-MAE的核心在于其创新的掩码策略HMP和PBT模块。HMP通过三个连续的掩码步骤（模态掩码、位置掩码和块掩码），强制模型学习多模态图像间的语义连接，从而避免模型崩溃。PBT模块利用网络的金字塔层次结构，在掩码和原始视图之间构建Barlow双胞胎损失，对不同视觉尺度的图像块在潜在空间中进行语义表示的对齐。这种设计确保了模型在预训练阶段能够稳定学习，并为下游的体素级密集预测任务（如分割任务）提供适用的权重。

流程

M2-MAE的工作流程包括以下步骤：首先，输入图像通过HMP进行掩码处理；然后，掩码和未掩码的图像分别输入到两个基于Vision Transformer（ViT）的编码器中；接着，每个Transformer块的嵌入被送入PBT模块，以对齐掩码图像和输入图像在不同尺度的特征表示；最后，通过解码器和判别器进行对抗学习，重建掩码图像。整个过程通过联合损失函数进行优化，确保模型在预训练阶段学习到有效的图像特征表示。

应用

M2-MAE在多模态MRI分析中的应用前景广泛，特别是在医学图像分割和疾病分类领域。由于其能够有效利用无标签数据进行预训练，该方法在资源受限的环境中尤其有价值，能够支持临床诊断和治疗效果的评估，特别是对于小病变区域的检测。此外，该方法的泛化能力和鲁棒性也为其在更广泛的医学图像分析任务中的应用提供了可能。