摘要

本文介绍了一种生物医学领域的检索增强生成（RAG）系统，旨在提高在线用户问题答案的准确性和可靠性。该系统通过微调的大型语言模型（LLM）进行参考问题回答，其中从PubMed检索的相关摘要作为输入传递给LLM的上下文。系统的输出是基于PubMed摘要的答案，每个陈述都相应地引用了来源，允许用户验证答案。与PubMed搜索引擎相比，该检索系统实现了23%的绝对改进。基于小样本的手动评估，我们的微调LLM组件在引用相关摘要方面与GPT-4 Turbo取得了可比的结果。我们公开了用于微调模型的数据集以及基于Mistral-7B-instruct-v0.1和v0.2的微调模型。

原理

该生物医学RAG系统结合了LLM的生成能力和专门的检索系统，通过将响应基于验证信息来增强模型的准确性和相关性。系统包括两个主要组件：基于混合语义和词汇搜索的信息检索（IR）组件，以及生成LLM组件。IR组件从PubMed数据库中检索相关摘要，并为生成LLM提供上下文。最终系统输出是用户查询的答案，其中每个声明都从相关摘要中提取并引用。该系统通过混合搜索方法，结合了词汇和语义检索，提高了检索的精确度。生成组件基于Mistral-7B模型，该模型在多个基准测试中显示出优于更大模型的性能，并通过微调进一步提高了引用相关摘要的能力。

流程

1. 信息检索组件：系统首先使用混合搜索方法从PubMed数据库中检索相关摘要。这包括词汇检索（基于BM25排名函数）和语义检索（使用Qdrant向量数据库和预训练的句子转换器模型）。
2. 生成组件：检索到的摘要作为输入传递给Mistral-7B模型，该模型在零样本模式下进行测试，并使用自定义数据集进行微调以进行参考问题回答。模型生成答案时，仅使用其认为相关的摘要，并在每个声明后引用相应的摘要ID。
3. 输出：最终输出是一个简明的答案，其中每个声明都引用了PubMed摘要ID，用户可以验证答案的来源。

应用

该生物医学RAG系统在医疗健康领域具有广泛的应用前景，特别是在需要高度准确和可验证信息的场景中。例如，它可以用于在线医疗咨询平台，帮助医生和患者获取基于最新研究的高质量答案。此外，该系统的开源性质和可控性使其适合在制药和生物医学领域内部署，以保护敏感数据并避免依赖第三方API。随着进一步的研究和开发，该系统有望提高科学生产力和影响力，特别是在隐私、主权和安全至关重要的环境中。