摘要

本文深入探讨了ReLU激活函数在Transformer模型中的层依赖激活稀疏性模式。研究发现，不同层的MLP在训练过程中展现出截然不同的稀疏性模式，尤其是在序列和批次级别上的表现。文章通过详细分析，揭示了模型首层和末层在稀疏性行为上的显著差异，并探讨了这些差异对特征表示学习的影响。此外，研究还关注了“神经元死亡”现象，指出这一现象主要由训练动态驱动，而非随机发生。文章通过定义和计算多个稀疏性指标，展示了不同层在训练过程中的稀疏性演变，为进一步优化ReLU Transformer的初始化和提高MLP隐藏维度的有效利用提供了见解。

原理

本文的核心在于分析和理解ReLU激活函数在Transformer模型中的层依赖激活稀疏性模式。ReLU激活函数因其简单的非线性特性（即输出为输入的正值部分）而在深度学习中广泛应用。在Transformer模型中，ReLU激活函数应用于多层感知器（MLP），这些MLP构成了Transformer块的主要计算单元。文章通过定义和计算多个稀疏性指标，如每令牌隐藏单元使用、每序列隐藏单元使用和每批次隐藏单元使用，来量化不同层在训练过程中的稀疏性演变。这些指标的计算基于隐藏维度激活，独立于网络的每一层，从而揭示了层间稀疏性的差异。此外，文章还探讨了“神经元死亡”现象，即某些隐藏单元在训练过程中从未被激活，这一现象的动态变化揭示了训练过程对模型稀疏性的深刻影响。

流程

文章首先定义了三个核心的稀疏性指标，并通过实验数据展示了这些指标在不同层中的表现。例如，表1展示了在收敛时每令牌、每序列和每批次的非零隐藏单元百分比，以及一些维度计数的比率。接着，文章通过图表展示了这些指标在训练早期的演变，如图2所示，这些图表显示了每令牌激活的维度数和序列中50%最常用隐藏单元的使用频率。此外，文章还通过实验验证了“神经元死亡”现象的动态变化，如表2所示，该表显示了在训练过程中隐藏单元的激活状态变化。这些实验和数据分析共同构成了文章的工作流程，展示了不同层在训练过程中的稀疏性演变和“神经元死亡”现象的动态变化。

应用

本文的研究成果对于优化Transformer模型的训练和推理过程具有重要意义。通过深入理解不同层的稀疏性模式，可以为模型设计提供指导，例如通过调整初始化策略来提高隐藏维度的有效利用。此外，研究揭示的“神经元死亡”现象及其动态变化，为模型剪枝和压缩提供了新的视角，有助于在保持模型性能的同时减少计算资源的需求。未来，这些发现可以应用于更广泛的深度学习模型和任务中，特别是在需要高效计算和存储资源的场景下，如移动设备和边缘计算。