摘要

本文探讨了大型语言模型（LLMs）在复杂推理任务中的知识利用方式。为了深入理解LLMs如何利用内部知识进行推理，研究者提出了一种将复杂现实问题分解为图结构的方法，其中每个问题作为一个节点，其解决所需的背景知识作为父节点。研究开发了DEPTHQA数据集，通过三个深度层次（概念知识、程序知识、战略知识）来分解问题，并基于层次图结构量化了LLMs在简单子问题与复杂问题上的性能差异（前向差异），以及在复杂问题与简单问题上的性能差异（后向差异）。研究发现，较小模型在这些差异上表现更为显著，而通过多轮交互引导模型从简单到复杂问题的过程可以提高性能，强调了知识推理中结构化中间步骤的重要性。这项工作不仅增强了我们对LLM推理能力的理解，还提出了提升其问题解决能力的方法。

原理

本文的核心工作原理是通过构建一个层次化的图结构来分解和分析复杂问题。每个节点代表一个问题，而边则表示从简单知识到复杂知识的推理过程。具体来说，研究者采用了Webb的深度知识（DOK）框架，将问题分为三个层次：概念知识（D1）、程序知识（D2）和战略知识（D3）。通过这种方式，研究者能够量化LLMs在不同层次问题上的性能差异，即前向差异和后向差异。前向差异衡量模型在解决简单子问题与复杂问题时的性能差异，而后向差异则衡量模型在解决复杂问题与简单问题时的性能差异。此外，研究还通过多轮交互的方式，逐步引导模型从简单问题过渡到复杂问题，以观察这种引导对模型性能的影响。

流程

1. 问题分解：首先，将复杂问题分解为不同深度层次的子问题，形成一个层次化的图结构。
2. 数据集构建：基于分解的问题，构建DEPTHQA数据集，包含从TutorEval数据集中提取的复杂问题及其分解的子问题。
3. 性能评估：使用DEPTHQA数据集评估不同大小的LLMs在不同深度层次问题上的性能，并计算前向差异和后向差异。
4. 多轮交互实验：通过多轮交互的方式，逐步引导模型从简单问题过渡到复杂问题，观察模型性能的变化。
5. 结果分析：分析实验结果，探讨模型大小、训练数据记忆化以及多轮交互对模型性能的影响。

例如，对于问题“为什么ReLU训练比sigmoid或tanh训练更快？”，研究者会将其分解为多个子问题，如“什么是激活函数？”、“激活函数的梯度如何影响神经网络训练速度？”等，然后通过层次图结构来分析LLMs如何逐步推理并回答这些子问题。

应用

这项研究的应用前景广泛，特别是在教育技术、智能辅导系统和复杂问题解决助手等领域。通过更好地理解LLMs的推理过程和性能差异，可以设计更有效的教学策略和学习材料，帮助学生更好地掌握复杂概念。此外，这项研究还可以应用于需要复杂推理的AI系统，如法律咨询、医疗诊断和科学研究等，提高这些系统的准确性和效率。随着LLMs的不断发展和优化，这项研究的方法和发现将为构建更智能、更可靠的AI系统提供重要指导。