摘要

本文介绍了一种名为Radformer的视觉语言模型，用于增强放射治疗中治疗目标体积的自动描绘。放射治疗的成功在很大程度上依赖于目标的准确描绘，但目前这一过程主要依赖于人工，存在时间消耗大、劳动强度高和观察者间变异等问题。Radformer模型结合了分层视觉变换器和大型语言模型，通过视觉语言注意力模块（VLAM）整合视觉和语言特征，实现了语言感知的视觉编码（LAVE）。该模型在2985名头颈癌患者的放射治疗数据集上进行了评估，显示出优于现有模型的分割性能，验证了其在放射治疗实践中的潜在应用价值。

原理

Radformer的核心在于其结合了视觉和语言信息的处理能力。模型使用分层视觉变换器作为主干，提取图像特征，同时利用大型语言模型（如GPT-4和PubMed-BERT）从临床数据中提取丰富的文本特征。通过视觉语言注意力模块（VLAM），模型能够将这些特征进行有效整合，实现语言感知的视觉编码（LAVE）。这种整合不仅提高了分割的准确性，还增强了模型对临床信息的理解和应用能力。

流程

Radformer的工作流程包括以下几个关键步骤：首先，通过分层视觉变换器提取3D医学图像的视觉特征；其次，利用大型语言模型从临床数据中提取文本特征；然后，通过视觉语言注意力模块（VLAM）将这些特征进行融合；最后，使用CNN解码器生成3D分割掩码。例如，在处理头颈癌患者的CT图像时，模型首先识别图像中的肿瘤区域，同时结合患者的临床信息（如病史、治疗细节等），通过VLAM模块将这些信息融合，最终生成精确的肿瘤分割结果。

应用

Radformer模型的应用前景广阔，特别是在放射治疗领域。由于其能够快速且精确地描绘治疗目标体积，该模型有望显著减少人工描绘的时间和劳动强度，提高治疗计划的准确性和效率。此外，随着模型的进一步优化和临床验证，Radformer有望成为放射治疗标准流程的一部分，推动个性化医疗和精准治疗的发展。