摘要

本文介绍了一种在脉冲神经网络（SNNs）中实现持续学习（CL）的新方法，通过压缩潜在重放（LR）技术，有效地减少了资源受限设备的内存需求。该方法通过结合新样本与先前学习数据的潜在表示，缓解了遗忘问题。实验结果显示，在海德堡脉冲数据集（SHD）上，样本增量和类别增量任务的Top-1准确率分别达到了92.5%和92%，同时通过时间域压缩，将重放数据的内存需求减少了两个数量级，最大准确率下降仅为4%。这一研究为边缘计算中的低功耗和高准确率持续学习提供了新的方向。

原理

本文提出的方法基于潜在重放（LR）技术，这是一种 rehearsal-based 持续学习方法，通过存储和重放先前学习任务的潜在表示来防止模型遗忘。在脉冲神经网络（SNNs）中，这些潜在表示是通过网络的某些层的激活来实现的。通过时间域的压缩技术，这些潜在表示被进一步压缩，从而大幅减少了所需的内存空间。这种压缩是通过将脉冲序列分割成块，并在每个块内进行阈值处理来实现的，从而在保持关键信息的同时减少了数据量。

流程

论文详细描述了SNN的训练流程，包括初始训练阶段和持续学习阶段。在初始训练阶段，SNN使用反向传播通过时间（BPTT）算法进行训练。在持续学习阶段，网络被分为冻结层和学习层，冻结层保持不变，而学习层则在新数据和压缩的潜在重放数据上进行训练。具体来说，新数据首先通过冻结层生成激活，然后与存储的潜在重放数据混合，最后用于训练学习层。这一过程确保了模型既能学习新信息，又能保留旧知识。

应用

该研究的方法特别适用于资源受限的边缘设备，如低功耗微控制器，这些设备通常需要高效的内存使用和低功耗。由于其高准确率和低内存需求，这种方法在语音识别、关键词检测等需要持续学习的应用场景中具有广泛的应用前景。此外，随着边缘计算和物联网设备的普及，这种高效的持续学习方法将变得更加重要。