摘要

本文由Haojun Jiang等人提出，针对心脏结构复杂性在超声心动图获取中的挑战，创新性地提出了一种大规模自监督预训练方法，以获取一个心脏结构感知的世界模型。该方法的核心创新在于构建了一个自监督任务，要求模型通过预测二维平面上的掩蔽结构和基于三维空间姿态变换想象另一个平面来推断结构。为了支持大规模预训练，研究团队收集了超过136万张来自十个标准视图的超声心动图及其三维空间姿态数据。在下游探头引导任务中，预训练模型在测试集上显著减少了引导误差，表明结构感知预训练对扫描任务有益。

原理

本文提出的结构感知世界模型通过结合二维和三维结构信息进行预训练。在二维结构理解方面，模型使用掩蔽方法预测二维平面中相邻位置的特征；在三维结构理解方面，模型根据两个平面在三维空间中的位置变化信息，预测目标平面的特征。这种结合二维和三维结构信息的预训练方法，使模型能够更准确地理解心脏的复杂结构，从而在探头引导任务中实现更精确的调整。

流程

预训练阶段，模型首先将输入图像分割成非重叠的patches，然后随机选择一部分patches作为上下文信息，另一部分作为目标块。模型通过上下文编码器和目标编码器分别提取上下文和目标块的特征，并结合位置嵌入和姿态嵌入，通过世界模型预测目标块的特征。在下游任务中，模型利用预训练的知识，通过策略网络输出探头位置调整的指导信号。例如，在心脏超声扫描中，模型可以根据当前图像预测探头应如何调整以获得最佳视图。

应用

该结构感知世界模型在心脏超声扫描领域具有广泛的应用前景。通过提高探头引导的准确性，该模型可以帮助经验不足的医疗人员更有效地获取高质量的超声心动图，特别是在医疗资源稀缺的地区。此外，该技术还有潜力应用于自主超声扫描机器人，实现心脏扫描的完全自动化。