摘要

本文介绍了一种名为MiniGPT-Med的创新型视觉语言模型，该模型源自大规模语言模型并专门为医学应用定制。MiniGPT-Med在多种成像模式（如X射线、CT扫描和MRI）中展现出卓越的多功能性，能够执行医学报告生成、视觉问题回答（VQA）和疾病识别等任务。其对图像和文本临床数据的集成处理显著提高了诊断准确性。实证评估证实，MiniGPT-Med在疾病定位、医学报告生成和VQA基准测试中表现卓越，标志着在辅助放射学实践中缩小差距的重要一步。此外，该模型在医学报告生成方面达到了最先进的性能，准确性超过之前最佳模型19%。MiniGPT-Med有望成为放射学诊断的通用接口，提升广泛医学成像应用的诊断效率。

原理

MiniGPT-Med的核心架构包括三个主要组件：视觉编码器、线性投影层和大型语言模型（LLM）。视觉编码器采用EVA，能够处理复杂的图像结构和变异，而LLM则采用LLaMA2-chat（7B），通过学习大量语言知识来处理多种医学视觉语言任务。视觉语言对齐通过采用MiniGPT-v2的架构，通过将视觉编码器的视觉标记与语言模型的特征空间进行线性投影来增强效率。此外，模型中引入了特定的任务标识符，以提高模型在执行各种医学视觉语言技能时的准确性。

流程

MiniGPT-Med的工作流程从接收医学图像开始，这些图像通过预训练的视觉编码器转换为视觉语义特征。这些特征随后被合并成单一视觉标记，并通过线性投影层映射到大型语言模型的空间中。在整个训练过程中，视觉编码器的参数保持不变，而大型语言模型和线性投影层则进行微调。模型使用特定的提示模板来处理多样化的医学视觉语言技能，如视觉问题回答、图像描述、参考表达理解和生成、疾病检测以及基于图像的描述生成。

应用

MiniGPT-Med的应用前景广阔，涵盖了医学报告生成、疾病检测和医学视觉问题回答等多个领域。该模型能够处理多种成像数据，包括X射线、CT扫描和MRI，使其成为放射学诊断的通用工具。随着进一步的开发和临床验证，MiniGPT-Med有望在提高诊断效率和准确性方面发挥关键作用，特别是在资源有限的环境中。