摘要

本文探讨了神经形态计算与边缘计算的协同潜力，旨在构建适用于动态视觉传感器捕获数据处理的灵活机器学习系统。研究团队构建并训练了混合模型，结合了脉冲神经网络（SNN）和人工神经网络（ANN），利用PyTorch和Lava框架进行开发。混合架构整合了SNN用于时间特征提取和ANN用于分类。文章深入探讨了在硬件上部署这类混合结构面临的挑战，特别是在Intel的神经形态处理器Loihi（用于SNN）和Jetson Nano（用于ANN）上的部署。此外，文章还提出了一种累加器电路，用于在脉冲和非脉冲域之间传输数据。通过在神经形态和边缘AI硬件的异构系统上对混合SNN-ANN模型进行全面性能分析，评估了准确性、延迟、功率和能量消耗。研究结果表明，混合脉冲网络在所有指标上均超越了基线ANN模型，并在准确性和延迟上优于基线SNN模型。

原理

混合SNN-ANN模型的核心在于结合SNN和ANN的优势，SNN擅长从基于事件的数据中提取时间信息，而ANN则擅长空间信息提取。文章通过开发统一的反向传播训练机制，使用PyTorch和SLAYER作为Lava神经形态计算库的一部分，实现了跨SNN和ANN域的训练。此外，文章还探讨了混合架构在硬件部署上的挑战，特别是在Loihi和Jetson Nano上的实际硬件实现。通过这些方法，混合模型能够在保持低功耗的同时，提高处理速度和准确性。

流程

文章详细描述了混合SNN-ANN模型的工作流程，包括数据从动态视觉传感器捕获后，通过累加器操作将时间维度压缩，然后分别在SNN和ANN层进行处理。SNN层负责提取时间特征，而ANN层则进行分类。具体示例展示了如何通过替换ANN中的卷积层为SNN的脉冲卷积层，以及如何在SNN和ANN之间设置累加器来实现数据的有效传输。整个流程在异构硬件系统上进行，确保了模型的高效运行。

应用

混合SNN-ANN模型的应用前景广泛，特别是在需要实时处理动态视觉数据的场景，如手势识别、自动驾驶和机器人视觉等。由于模型结合了SNN的低功耗和ANN的高准确性，它能够在边缘设备上实现高效的机器学习任务处理，为未来的智能设备和系统提供了新的可能性。