摘要

本文介绍了一种名为“组合推理”（Combinatorial Reasoning, CR）的自动化提示方法，该方法通过从生成式AI管道中采样理由并将其映射到二次无约束二进制优化（QUBO）问题中，旨在利用QUBO解决方案选择有用理由子集，构建思维链（Chain-of-Thought, CoT）风格提示。CR框架探索了使用专用解算器加速CR的可能性，并调查了更简单的零样本策略如线性多数规则或随机选择理由的性能。初步研究表明，将组合解算器与生成式AI管道耦合是AI推理的一个有趣途径，并阐明了未来CR方法的设计原则。

原理

组合推理（CR）框架的核心在于通过自动化方式提升大型语言模型（LLM）的推理能力。CR方法首先从LLM中采样多个理由，然后将这些理由映射到一个QUBO问题中，通过组合优化解算器选择最优理由子集。这些选定的理由随后被用于构建一个CoT风格的提示，引导LLM生成更准确的答案。CR的关键创新在于其完全自动化的提示生成过程，无需人工干预，通过组合优化策略增强了LLM的推理能力。

流程

CR的工作流程包括四个主要阶段：1）理由采样，从LLM中生成多个理由；2）QUBO映射，将这些理由转化为一个QUBO问题；3）组合优化解算，使用Ising机器解决QUBO问题，选择最优理由子集；4）最终提示创建，将选定的理由整合成一个CoT风格的提示，用于最终的LLM查询。例如，对于一个具体的推理问题，CR会首先生成多个可能的理由，然后通过QUBO映射和解算，选择出最相关的理由，最后将这些理由整合成一个结构化的提示，引导LLM生成答案。

应用

CR框架的应用前景广泛，尤其在需要复杂推理的任务中，如自然语言处理（NLP）中的难题解决、知识密集型任务等。通过自动化提示生成和优化，CR能够提升LLM在处理高层次认知功能任务时的性能，减少对人工提示的依赖，从而在多种AI应用场景中发挥重要作用。