摘要

本文探讨了大型语言模型（LLMs）在实际应用中的推理能力提升问题，特别是通过几何视角来理解LLMs的推理机制。文章通过分析LLMs的自注意力图的密度与其多层感知器（MLP）块输入的内在维度之间的关系，展示了高内在维度如何增强LLMs的表达能力。此外，文章还通过理论分析和实验证据，证明了这种几何框架与近期旨在提升LLMs推理能力的方法之间的关联。

原理

文章的核心在于揭示LLMs的推理能力与其几何结构之间的关系。具体来说，LLMs中的自注意力机制通过生成一个关注图（attention map），该图定义了一个图结构，其中节点是输入的序列标记，边（权重）由注意力值定义。文章通过理论证明，这种关注图的密度（即连接的标记数量）与LLMs的内在维度直接相关，而内在维度又与模型的表达能力（即模型能够表示的函数复杂性）紧密相关。通过增加关注图的密度或增加注意力头的数量，可以有效提升LLMs的内在维度，从而增强其推理能力。

流程

文章首先介绍了深度神经网络（DNNs）的几何概念，特别是它们如何划分输入空间以及这种划分与其近似能力的关系。随后，这些概念被应用于LLMs，特别是通过分析自注意力块的内在维度来捕捉其表达能力。文章通过一系列实验来分析这些几何属性与LLMs推理能力之间的相关性，发现随着提示中提供的示例数量增加，LLMs的内在维度也随之增加，尤其是在模型的最终层，这种增加与推理性能的提升有显著关联。

应用

文章提出的几何视角不仅加深了对LLMs内部工作机制的理解，还为提升其推理能力提供了新的路径。通过调整输入序列长度和注意力头的数量，可以在不增加模型大小的情况下提高LLMs的推理性能，这对于实际应用中的计算成本和推理延迟具有重要意义。此外，这种方法的应用前景广泛，包括但不限于自然语言处理、机器翻译、问答系统等领域，预计将推动LLMs在这些领域的进一步发展和优化。