摘要

本文针对检索增强生成（RAG）系统中普遍存在的事实一致性错误问题，提出了一种全面的事实一致性评估（FCE）基准Face4RAG。该基准包括一个基于精心设计的错误分类法构建的合成数据集和一个由六种常用大型语言模型（LLMs）生成的真实世界数据集，旨在评估FCE方法在特定错误类型或真实世界错误分布上的表现。研究发现，现有FCE方法在检测逻辑谬误方面存在失败，为此，本文进一步提出了一种新的方法L-Face4RAG，通过逻辑保留答案分解和事实逻辑FCE两种新颖设计，显著提升了事实不一致性检测的性能。

原理

L-Face4RAG方法的核心在于其逻辑保留答案分解和事实逻辑FCE两个模块。逻辑保留答案分解模块通过遵循三个原则（仅在句子间无强语义或逻辑连接时进行分解、确保每个片段独立可理解、尽量保持原答案的句子结构）来分解答案，从而保留逻辑关系，便于后续的逻辑一致性评估。事实逻辑FCE模块则采用两阶段评估过程，首先评估每个信息片段的事实一致性，然后通过逻辑结构分析和比较，评估逻辑谬误。这一过程中，引入了链式思考（COT）机制，指导模型逐步处理不一致性错误，提高了评估的准确性和细致度。

流程

L-Face4RAG的工作流程包括两个主要步骤：首先，通过逻辑保留答案分解将长答案分解为多个片段，每个片段都尽量保持原答案的逻辑结构；其次，通过事实逻辑FCE对每个片段进行两阶段评估，第一阶段检查事实一致性，第二阶段分析逻辑结构并判断逻辑一致性。例如，在处理一个关于亚马逊云服务领先地位的问题时，L-Face4RAG首先将答案分解为多个逻辑相关的片段，然后分别评估这些片段的事实和逻辑一致性，最终得出整个答案的事实一致性评估结果。

应用

L-Face4RAG不仅在RAG任务中表现出色，还在其他多种事实一致性评估任务（如摘要、对话和事实验证）中展现出优越性能。其广泛的应用前景包括但不限于改进搜索引擎、自动问答系统、内容生成工具等，特别是在需要高度事实准确性的领域，如新闻报道、科学文献生成等。此外，L-Face4RAG的评估方法和基准数据集的公开可用性，为未来研究和开发提供了宝贵的资源。