摘要

本文探讨了大型语言模型（LLMs）在复杂推理任务中的局限性，并提出了一种改进方法Logic-LM++。该方法通过利用LLMs的成对比较能力，评估和优化由LLM提出的形式规范的改进，从而提高推理任务的准确性。实验表明，Logic-LM++在三个数据集（FOLIO、ProofWriter和AR-LSAT）上的表现优于现有技术，平均提高了18.5%的标准提示准确率。

原理

Logic-LM++的核心创新在于其多步骤细化机制，该机制允许LLMs通过成对比较来评估和选择最佳的形式规范。具体来说，Logic-LM++利用LLMs的内在能力进行语义检查，确保在细化过程中生成的形式规范不仅在语法上正确，而且在语义上与问题陈述一致。此外，Logic-LM++改进了细化机制，通过在细化阶段提供更多的问题陈述上下文，减少了推荐编辑不相关或不显著改进的情况。

流程

Logic-LM++的工作流程包括三个主要步骤：首先，从自然语言提示中生成初始的形式规范；其次，通过符号推理器解决这些规范；最后，通过结果解释将输出映射到正确的答案。在细化阶段，Logic-LM++引入了一个自我细化代理和一个回溯代理。自我细化代理通过提供问题陈述和指令来帮助模型自我反思，而回溯代理则评估修复后的规范是否改善了与人类意图的对齐。例如，在FOLIO数据集的一个示例中，Logic-LM++能够通过回溯代理纠正初始规范中的语义错误，生成更准确的规范。

应用

Logic-LM++的应用前景广泛，特别是在需要复杂推理的自然语言处理任务中，如法律文本分析、科学推理和编程问题解决。其改进的细化机制和语义检查能力使其能够更准确地理解和处理复杂的逻辑问题，从而在多个领域提供更可靠的决策支持。