摘要

本文介绍了一种名为Beam Aggregation Reasoning (BeamAggR)的推理框架，用于解决知识密集型多跳问答任务中的挑战。该框架通过将复杂问题分解为树状结构，并采用自底向上的推理方法，有效地整合多源知识，探索并优先考虑每个推理步骤中有前景的答案。BeamAggR在四个开放域多跳推理数据集上进行了广泛实验，显著优于现有最先进的方法，平均提升了8.5%的性能，显示出其在知识协作和答案聚合方面的优越性。

原理

BeamAggR框架的核心在于其三模块设计：问题分解、多源推理和波束聚合。首先，通过大型语言模型（LLM）将复杂问题分解为树状结构，其中根节点包含原始问题，叶节点包含原子子问题，中间节点包含需要组合推理的复合问题。其次，对于原子问题，LLM在多源知识上进行推理，获取答案候选并进行细粒度答案聚合，促进知识协作。最后，对于复合问题，通过枚举其依赖子问题的答案组合并进行推理，最终通过概率聚合选择最有前景的推理路径。这种自底向上的推理方法不仅扩展了推理的广度和探索空间，还通过概率聚合优化了推理轨迹，有效减少了级联错误。

流程

BeamAggR的工作流程包括三个主要步骤：问题分解、多源推理和波束聚合。首先，复杂问题被分解为树状结构，每个节点包含一个子问题及其答案候选和概率。然后，通过后序遍历树结构，对每个节点进行自底向上的推理。对于原子节点，LLM在多源知识上进行推理并聚合答案；对于复合节点，通过波束聚合探索多个推理路径并优先选择最有可能的路径。最终，在根节点处得到最终答案。具体示例中，如在Bamboogle数据集上的推理示例，展示了如何通过分解问题、多源推理和波束聚合逐步得到最终答案。

应用

BeamAggR框架在开放域多跳问答任务中展现出显著优势，其精确的子问题检索、高效的知识协作、准确的答案聚合和广泛的推理轨迹探索能力，使其在各种复杂问答场景中具有广泛的应用前景。随着技术的进一步发展和优化，BeamAggR有望在教育、法律、医疗等多个领域提供更强大的智能问答支持。