摘要

本文介绍了一种名为渐进低秩分解（PLRD）的新方法，专门用于压缩大型语言模型（LLMs）。该方法利用预训练模型，通过逐步降低秩的方式进行增量分解，从而生成更小规模的模型。这种方法不仅显著减少了计算开销和能源消耗，还避免了从头开始重新训练模型的需求。实验证明，使用PLRD方法训练的模型在仅使用10亿个标记的情况下，性能与传统训练的模型相当，同时大幅减少了所需的标记数量。PLRD的灵活性在于能够从一个基础模型生成多种规模的模型，适应不同的计算和内存预算，预示着在高效扩展LLMs方面的新标准。

原理

PLRD方法的核心在于利用预训练的大型语言模型，通过渐进式的低秩分解技术，逐步减少模型的参数数量。具体来说，该方法通过奇异值分解（SVD）将模型的权重矩阵分解为多个低秩矩阵的和，然后选择性地保留这些低秩矩阵中的一部分，以达到减少模型参数的目的。这种分解策略优化了模型性能与资源使用之间的平衡，使得模型在保持较高性能的同时，大幅减少了所需的计算资源。

流程

PLRD的工作流程包括以下几个步骤：首先，选择一个预训练的大型语言模型作为起点；然后，通过SVD对模型的权重矩阵进行分解，得到多个低秩矩阵；接着，根据预设的压缩比，选择保留哪些低秩矩阵，丢弃其余的；最后，对分解后的模型进行微调，以恢复其在分解过程中可能损失的性能。整个过程是迭代的，每一步分解后都会进行微调，确保模型性能在每一步都得到恢复。

应用

PLRD方法的应用前景广泛，尤其适用于资源受限的环境，如移动设备或边缘计算节点。通过PLRD，可以在不牺牲太多性能的情况下，将大型语言模型部署到这些设备上，从而推动AI技术的普及和应用。此外，PLRD也为模型定制化提供了可能，用户可以根据自己的计算和内存预算，选择合适的模型规模，实现更灵活的AI部署。