摘要

本文介绍了一种在脉冲神经网络（SNN）中实现轻量级持续学习的方法——压缩潜在重放（Compressed Latent Replays）。该方法通过结合新样本与先前学习数据的潜在表示，有效缓解了遗忘问题。实验结果显示，在海德堡脉冲数据集（SHD）上，无论是样本增量任务还是类别增量任务，该方法都能达到92.5%和92%的Top-1准确率，同时通过时间域压缩技术，将重放数据的内存需求降低了两个数量级，最大准确率下降仅为4%。这一技术为边缘计算设备上的低功耗和高准确率持续学习开辟了新的途径。

原理

压缩潜在重放方法的核心在于利用SNN的特性，通过时间域的压缩技术减少重放数据的内存需求。SNN通过脉冲序列传递信息，这些脉冲可以高效地以1位数据存储在数字架构中。该方法通过将重放数据的时间序列压缩，减少了内存占用，同时保持了较高的分类准确率。具体来说，压缩过程涉及将未压缩的序列分成多个块，每个块通过阈值处理压缩成单个时间步的激活，从而实现内存需求的显著降低。

流程

论文提出的工作流程包括初始训练阶段、网络准备阶段和新的数据训练阶段。在初始训练阶段，SNN通过反向传播通过时间（BPTT）算法在初始训练集上进行预训练。在网络准备阶段，网络被分割为冻结层和学习层，并生成潜在重放数据（LR）。在新的数据训练阶段，仅对学习层进行训练，同时结合存储的LR以保持对先前学习数据的记忆。具体示例显示，通过这种方法，SNN能够在学习新样本的同时，保持对旧样本的高准确率。

应用

压缩潜在重放方法在边缘计算领域具有广泛的应用前景，特别是在需要持续学习且资源受限的设备上，如物联网（IoT）传感器节点。该方法不仅提高了SNN的能源效率和处理效率，还为实现个性化AI算法提供了可能，同时保持了用户隐私和减少了互联网连接的需求。随着边缘AI技术的进一步发展，该方法有望在智能家居、可穿戴设备和工业自动化等领域发挥重要作用。