摘要

本文介绍了一种名为MMedAgent的多模态医疗代理，这是首个专门为医疗领域设计的AI代理。MMedAgent通过整合多种医疗工具，能够处理跨越不同成像模式的多种医疗任务。论文通过构建一个包含六种医疗工具的指令调优数据集，使代理能够根据用户输入选择最合适的工具。实验结果显示，MMedAgent在多种医疗任务上的表现优于现有的开源方法和闭源模型GPT-4o，并且能够高效地更新和集成新的医疗工具。

原理

MMedAgent的核心工作原理是基于多模态大型语言模型（MLLM），通过指令调优使其能够理解和执行医疗领域的特定任务。代理通过分析用户输入的指令和医疗图像，选择并调用适当的医疗工具来执行任务，然后将工具的输出整合以生成最终的答案。这种端到端的学习机制使得MMedAgent能够有效地处理复杂的医疗任务，并提供专家级别的响应。

流程

MMedAgent的工作流程包括四个主要步骤：（1）用户提供指令和医疗图像；（2）MLLM作为行动规划器，理解指令和图像，并生成调用特定工具的格式化指令；（3）执行工具并生成输出；（4）MLLM整合输出和原始输入，生成最终的用户答案。整个过程通过视觉指令调优进行端到端的训练，确保模型能够正确使用工具并基于工具结果回答问题。

应用

MMedAgent的应用前景广阔，特别是在需要处理复杂医疗数据和多模态输入的场景中。它可以用于图像分类、图像分割、医疗报告生成等多种医疗任务，提高诊断效率和准确性。随着更多医疗工具的集成和优化，MMedAgent有望成为医疗领域的重要辅助工具，推动个性化医疗和精准治疗的发展。