摘要

本文介绍了一种名为NeuroMoCo的新型神经形态动量对比学习方法，用于提高脉冲神经网络（SNNs）在处理复杂神经形态数据集时的性能。这是首次将基于动量对比学习的自监督学习（SSL）应用于SNNs。此外，本文还设计了一种新的损失函数MixInfoNCE，专门针对神经形态数据集的时间特性，通过严格的消融实验验证了其有效性。实验结果表明，NeuroMoCo在DVS-CIFAR10、DVS128Gesture和N-Caltech101数据集上达到了新的最先进（SOTA）基准，分别为83.6%、98.62%和84.4%。

原理

NeuroMoCo方法的核心在于将自监督预训练的优势扩展到SNNs，通过动量对比学习有效地激发SNNs的潜力。该方法构建了一个动态字典，结合自动更新队列机制和基于动量滑动平均优化的编码器，用于预训练SNN模型。此外，通过改进数据增强技术，有效增强了正负样本的多样性，并根据神经形态数据集的时间特性设计了新的损失函数MixInfoNCE，进一步提高了分类准确性。

流程

NeuroMoCo的工作流程遵循“从预训练到微调”的范式。在预训练阶段，主编码器（M-Encoder）和从属编码器（S-Encoder）通过处理来自神经形态数据集的两个随机不同数据增强方法的样本输入，生成上下文向量表示。通过对比损失函数，基于梯度下降和反向传播算法逐步减少损失，更新M-Encoder的参数，而S-Encoder则采用动量更新策略。在微调阶段，S-Encoder替换为分类头网络，进行后续的分类任务训练和测试。

应用

NeuroMoCo方法的应用前景广泛，特别是在处理由事件驱动动态视觉传感器收集的复杂神经形态数据集（如DVS数据）的分类任务中。该方法不仅为智能感知系统的进步提供了新的见解和技术支持，还在自动驾驶、无人机导航等领域展现出广泛的应用潜力。