摘要

本文由Youzhi Qu等人撰写，探讨了通过迁移学习在基于掩码自编码器的功能性磁共振成像（fMRI）重建中揭示认知任务学（taskonomy）的方法。文章主要解决了神经信号重建的问题，特别是在信号完成和去噪方面。作者提出了一种基于掩码自编码器（MAE）的模型来重建fMRI数据，并利用迁移学习框架来量化认知任务之间的关系。实验结果表明，MAE模型能够有效地捕捉大脑区域之间的时间动态模式和交互作用，实现跨受试者的fMRI信号重建。通过迁移学习框架获得的认知任务学揭示了认知任务之间的关系，特别是在运动任务中的子任务相关性和情感、社交及赌博任务之间的相似性。研究还表明，通过MAE模型重建fMRI数据可以揭示潜在的表示，并且获得的任务学为神经解码任务中选择源任务提供了指导，以提高目标任务的解码性能。

原理

本文的关键内容是使用掩码自编码器（MAE）模型来重建fMRI信号，并通过迁移学习框架来揭示认知任务之间的关系。MAE模型通过随机掩码输入图像的补丁并重建它们来学习图像的潜在表示。在fMRI数据重建中，MAE模型通过随机掩码时间和空间维度来训练，以捕捉大脑活动的时间动态模式和区域间的交互作用。迁移学习框架则用于评估不同认知任务之间的关系，通过将源任务上训练的MAE模型迁移到目标任务上，评估迁移性能来量化任务间的相似性。

流程

文章描述了一个包含fMRI预处理、MAE模型重建和迁移学习的框架。首先，对fMRI数据进行预处理和脑部分割。然后，使用MAE模型对掩码的fMRI数据进行处理，通过补丁嵌入、变换器编码器和解码器，最终线性投影以重建fMRI信号。在迁移学习阶段，首先在源任务上训练MAE模型，然后将训练好的模型迁移到目标任务上，在此过程中冻结编码器，只调整解码器。通过这种方式，可以评估不同认知任务之间的关系。

应用

本文的研究成果具有广泛的应用前景。首先，MAE模型在跨受试者的fMRI信号重建中表现出色，有助于解决神经成像数据收集中常见的信号丢失问题。其次，通过迁移学习框架获得的认知任务学可以为神经解码研究中选择源任务提供指导，从而提高目标任务的解码性能。此外，该方法还可以扩展到其他神经信号模式，如脑电图（EEG）重建，具有潜在的多模态应用价值。