摘要

本文介绍了一种名为RankRAG的新型指令微调框架，该框架统一了上下文排序与检索增强生成（RAG）在大型语言模型（LLMs）中的应用。RankRAG通过在训练混合中加入少量排序数据，使单一LLM同时具备上下文排序和答案生成的能力，显著超越了现有的专家排序模型。在生成任务中，RankRAG在多个知识密集型基准测试中表现优异，包括在生物医学领域的应用，展示了其出色的泛化能力和对新领域的适应性。

原理

RankRAG的核心创新在于将上下文排序和答案生成两个任务统一在一个指令微调框架中。通过设计特定的任务，使LLM在识别问题相关上下文的同时，利用这些上下文生成答案。这种设计使得LLM能够在检索增强生成过程中，首先对检索到的上下文进行重新排序，然后基于排序后的上下文生成最终答案。RankRAG的先进性体现在其能够在不牺牲生成质量的前提下，通过简单的指令调整，显著提升模型的排序能力。

流程

RankRAG的工作流程包括两个主要阶段：第一阶段是监督微调（SFT），通过高质量的指令遵循数据集提升LLM的指令遵循能力；第二阶段是RankRAG指令微调，通过整合上下文丰富的QA、检索增强QA和排序数据集，增强LLM在检索和生成阶段的上下文过滤能力。在推理阶段，模型首先使用检索器从语料库中检索出top-N上下文，然后RankRAG模型计算问题与这些上下文的相关性得分，重新排序后保留top-k上下文，最后基于这些上下文生成答案。

应用

RankRAG框架适用于多样化的知识密集型自然语言处理任务，特别是在需要高度相关上下文以生成准确答案的场景中表现出色。其在生物医学等特定领域的应用展示了其强大的领域适应性和泛化能力。未来，RankRAG有望进一步扩展到更多领域，并与其他先进的检索技术结合，提升整体的信息检索和生成质量。