摘要

本文介绍了一种名为RICHES的新型方法，该方法在序列生成任务中与检索操作交错进行。与传统的RAG系统不同，RICHES通过直接解码文档内容并受限于语料库，消除了对独立检索器和生成器的需求。这种方法通过单一的LLM解码过程，实现了检索与生成的统一，使得系统能够通过简单的提示适应多样的新任务。RICHES在开放域问答（ODQA）任务中表现出色，支持多跳检索和交错思维，以规划下一步检索内容。

原理

RICHES的核心在于将检索与序列生成任务无缝集成。它通过直接解码文档内容或相关的自然语言检索键来检索文档，这些键指向生成它们的文档。这种方法的关键在于利用LLM的解码过程作为搜索过程，通过约束解码空间来确保生成的序列存在于感兴趣的语料库中。通过这种方式，RICHES能够在单一的解码过程中实现多跳检索和交错思维，从而有效地规划和执行检索任务。

流程

RICHES的工作流程包括以下几个步骤：

1. 输入查询：用户输入一个查询或问题。
2. 生成检索键：LLM生成与查询相关的检索键。
3. 检索文档：通过解码检索键，LLM从语料库中检索相关文档。
4. 生成答案：LLM根据检索到的文档生成答案，并在生成过程中交错思维以指导下一步的检索。
5. 输出答案：最终生成的答案被返回给用户。

例如，对于一个多跳问题“谁在1992-93赛季为夏洛特黄蜂队效力并在WNBA夏洛特蜂刺队担任主教练？”，RICHES会首先生成关键词“1992-93赛季夏洛特黄蜂队成员”，然后检索相关文档，接着生成关键词“Muggsy Bogues的特殊身份”，并检索相关文档，最终生成答案“Muggsy Bogues是NBA历史上最矮的球员”。

应用

RICHES的应用前景广泛，特别适用于需要复杂推理和多跳检索的开放域问答系统。由于其能够通过简单的提示适应新任务，RICHES在教育、客户服务、信息检索等领域具有巨大的潜力。此外，随着LLM的不断发展，RICHES的性能和适应性有望进一步提升，使其成为未来智能问答系统的核心组件。