摘要

本文探讨了大型语言模型（LMs）与人类大脑在语言处理方面的差异，强调了超越输入-输出行为的重要性，以深入理解这些系统的内部过程。文章讨论了神经科学中的稀疏性、模块化、内部状态和交互式学习等概念如何指导更符合生物学原理的语言模型的发展。此外，文章还探讨了缩放定律在弥合LMs与人类认知之间差距的作用，强调了在生物系统中类似的效率约束的必要性。通过开发更接近大脑功能的LMs，旨在推进人工智能和人类认知理解。

原理

本文通过David Marr的三个分析层次框架来比较LMs和人类语言处理：计算层次、算法层次和实现层次。在计算层次，关注抽象的计算目标，如语言理解、问题回答和语言翻译。在算法层次，探讨实现这些目标的具体方法和策略，例如解析句子、表示语义信息和生成连贯答案的机制。在实现层次，关注这些机制的物理实现，例如大脑使用放电神经元和电化学信号，而LMs运行在硅硬件上。文章强调，尽管LMs在计算层次上表现出与人类相似的行为，但在算法和实现层次上存在显著差异，特别是在内部过程和机制上。

流程

文章提出了一系列方法来比较LMs和大脑在算法层次上的工作流程，包括层次表示的对应、机制解释性、消融和刺激研究以及受控语言探针和干预。例如，通过表示相似性分析（RSA）比较模型和大脑区域的神经表示的几何结构，以及使用编码模型通过线性回归将LM嵌入转换为模拟脑活动，并与记录的神经数据进行相关性分析。此外，通过消融研究，如修剪、编辑或固定特定权重，揭示网络不同部分对语言行为的贡献。这些方法有助于深入理解LMs内部动态和因果结构，并与大脑研究结果进行比较。

应用

文章认为，通过开发更接近大脑架构和动态的LMs，可以为神经科学家提供更准确的计算模型，促进对人类认知的深入理解。此外，将脑启发特征融入LMs可能导致更灵活、高效且能够处理推理和规划的人工智能系统。这些模型不仅在计算效率和任务性能上有所提升，还能更好地模拟人类认知的关键特征，如灵活性、鲁棒性和泛化能力。