摘要

本文介绍了一项针对医疗领域大型视觉语言模型（LVLMs）幻觉现象的系统评估研究。论文提出了一个新的基准数据集——医疗视觉幻觉测试（MedVH），用于评估LVLMs在医疗环境中的幻觉问题。MedVH包含五个任务，旨在全面理解文本和视觉输入，以及生成长文本响应。实验结果表明，尽管医疗LVLMs在标准医疗任务上表现出色，但它们在幻觉问题上比通用模型更为脆弱，这引发了对其在实际医疗应用中可靠性的严重担忧。

原理

论文的核心在于通过MedVH数据集评估LVLMs在医疗环境中的幻觉问题。MedVH通过多选视觉问答（MC-VQA）和医疗报告生成等任务，测试模型对视觉和文本信息的全面理解能力，以及在生成长文本时的抗幻觉能力。这些任务要求模型不仅要有扎实的医疗知识，还要有强大的推理能力来避免幻觉的产生。

流程

论文的工作流程包括以下几个关键步骤：

1. 数据集构建：通过整合多个公开数据集，构建了MedVH基准数据集。
2. 模型评估：使用三种类型的LVLMs（通用模型、医疗LVLMs和胸部X光片（CXR）微调LVLMs）进行实验。
3. 任务执行：模型在MC-VQA任务和医疗报告生成任务中执行，评估其在不同设置下的表现。
4. 结果分析：分析模型在标准医疗任务和幻觉测试中的表现，揭示其在医疗应用中的潜在风险。

应用

论文的研究成果对于开发更可靠和可信的医疗语言模型具有重要意义。通过评估和改进LVLMs的抗幻觉能力，可以促进这些模型在实际医疗场景中的应用，如辅助诊断和治疗计划制定。未来的研究可以进一步探索如何通过模型微调和数据增强来提高模型的鲁棒性和准确性。