摘要

本文由斯坦福大学的Hong Jun Jeon和Benjamin Van Roy共同撰写，旨在为神经网络的规模法则提供严格的信息论基础。神经规模法则旨在描述模型和训练数据集大小对样本外误差的影响，从而指导计算资源在模型和数据处理之间的分配以最小化误差。然而，现有的理论支持缺乏严谨性和清晰度，混淆了信息和优化的角色。本文通过开发严格的信息论基础，能够描述由无限宽度的两层神经网络生成的数据的规模法则。研究发现，数据和模型大小的最优关系是线性的，这与大规模实证研究相吻合。这些简洁而普遍的结果可能为这一主题带来清晰度，并指导未来的研究。

原理

本文通过建立信息论框架，分析了神经网络模型在不同计算预算下的最优参数和训练数据量的关系。关键在于理解模型参数数量（p）和训练令牌数量（T）对训练计算需求的影响。文章提出了一个严格的数学框架，通过信息论工具来推导出在给定计算预算下，如何最优地分配资源给模型参数和训练数据，以最小化误差。特别地，文章证明了在最优计算资源分配下，模型参数数量和训练数据量的关系是线性的，这一发现与之前的实证研究一致。

流程

文章首先定义了一个概率框架，其中所有随机变量都在一个共同的概率空间中定义。接着，文章考虑了一个生成数据对的随机过程，并假设存在一个潜在的隐变量F，该变量规定了下一个标签Yt+1的条件概率测度。文章进一步定义了一个学习目标，即通过Shannon信息论来分析误差，并反映现代基础模型的目标。文章通过一个具体的例子，展示了如何在一个无限宽度的神经网络中，通过约束预测器来分析误差，并推导出一个具体的神经规模法则。

应用

本文的研究成果为理解和优化大型神经网络的训练提供了理论基础。这些发现不仅有助于指导未来在设计和训练大型神经网络时的资源分配，还可能推动相关领域的进一步理论研究。特别是在计算资源有限的情况下，如何最优地分配资源给模型参数和训练数据，以达到最佳的训练效果，是当前和未来研究的重要方向。