摘要

本文主要探讨了多模态大语言模型（MLLMs）在医学图像和自由文本报告的数据挖掘中的潜力。文章介绍了 MLLMs 的发展背景和在医学领域的应用，通过对 Gemini、GPT-4 等模型的实验评估，分析了它们在不同医学图像任务中的表现，并讨论了 MLLMs 在医学领域的应用前景和挑战。

原理

MLLMs 通常由模态编码器、预训练的 LLM 和模态接口组成。模态编码器处理来自各种模态（如图像、视频和音频）的输入，并将其转换为 LLM 可以理解的表示。预训练的 LLM 负责理解和推理这些表示。模态接口作为桥梁，将不同模态的信息对齐并融合到 LLM 中。

流程

文章中没有明确给出 MLLMs 的工作流程。

应用

MLLMs 在医学领域有广泛的应用前景，包括图像诊断和成像分析、医学文献和记录分析、医疗智能设备、药物开发辅助和远程医疗与诊断等。