摘要

本文由Zeqing Wang等人提出，针对边缘设备上的持续学习（Continual Learning, CL）问题，提出了一种名为LightCL的高效算法。该算法旨在解决神经网络训练中的灾难性遗忘问题，特别是在资源受限的边缘设备上。LightCL通过压缩神经网络中已泛化的组件的资源消耗，并使用少量额外资源增强其他部分的记忆，从而显著减少内存占用。论文通过引入学习可塑性（Learning Plasticity）和记忆稳定性（Memory Stability）两个新指标，评估了神经网络在持续学习过程中的泛化能力，并基于此设计了LightCL算法。实验结果表明，LightCL在延迟遗忘和减少内存占用方面优于现有最先进的方法。

原理

LightCL算法的核心在于通过两种机制来优化持续学习过程：维持泛化能力（Maintaining Generalizability）和记忆特征模式（Memorize Feature Patterns）。首先，通过冻结神经网络的较低和中间层，保持这些层的泛化能力，因为这些层在持续学习中显示出较高的泛化能力。其次，对于较深层，通过调整特征图，记忆先前任务的特征提取模式，以提高这些层的泛化能力。这两种机制共同作用，减少了训练过程中的资源消耗，特别是内存占用，同时保持了模型对新任务的适应性和对旧任务的记忆。

流程

LightCL的工作流程包括预训练一个神经网络，然后冻结其较低和中间层，接着在边缘设备上部署进行持续学习。在训练新任务时，只更新未冻结的层，并通过引入特征正则化损失来记忆先前任务的特征模式。具体来说，算法首先选择一些新任务的样本，运行在预训练的神经网络上以获取特征图标准，然后在训练新任务时，通过比较当前特征图与标准特征图，调整重要特征图以记忆先前任务的知识。整个过程通过算法1详细描述，确保了在资源受限条件下的高效持续学习。

应用

LightCL算法特别适用于资源受限的边缘设备，如物联网设备和移动设备，这些设备通常需要在不间断的数据流中持续学习和适应。由于其低内存占用的特点，LightCL能够有效地支持个性化推荐系统、智能监控和其他需要持续学习的应用场景。此外，该算法的高效性和低资源需求使其易于与其他压缩技术结合，进一步扩展其应用范围。