摘要

本文由乔治亚理工学院电气与计算机工程系的Biswadeep Chakraborty和Saibal Mukhopadhyay共同撰写，探讨了尖峰神经网络（SNNs）在神经形态计算领域的最新进展。文章通过引入神经元和突触动力学的异质性，显著提升了SNNs的性能，特别是在能源效率和生物合理性模型方面。研究通过严格的分析框架和创新的修剪方法，如Lyapunov噪声修剪（LNP），展示了异质性如何不仅增强分类性能，还减少尖峰活动，从而构建更高效和鲁棒的网络。文章总结了SNNs在超越传统神经网络的同时保持较低计算成本的潜力，并为研究人员和实践者提供了这些关键发展的全面概述。

原理

文章的核心在于通过引入异质性来优化尖峰神经网络（SNNs）的性能。异质性体现在神经元和突触的动力学参数上，如泄漏整合-发放（LIF）神经元的参数和尖峰时序依赖可塑性（STDP）动力学。通过这种异质性，网络能够更好地适应不同的任务需求，提高分类性能和减少尖峰活动。此外，文章还介绍了Lyapunov噪声修剪（LNP）方法，该方法利用网络的异质性来有效修剪冗余或噪声连接，从而在保持高性能的同时显著降低计算需求。这些方法的结合使得SNNs在处理复杂任务时更加高效和鲁棒。

流程

文章详细描述了异质性循环尖峰神经网络（HRSNNs）的工作流程。首先，构建一个包含输入编码层、循环尖峰层和输出解码层的三层网络结构。循环层由兴奋性和抑制性神经元组成，使用生物合理的LIF神经元模型和STDP规则进行训练。接着，通过基于欧几里得距离的概率方法创建循环层内的连接。在训练过程中，STDP规则改变循环层内和输入层到循环层之间的连接权重。此外，文章还介绍了Lyapunov噪声修剪（LNP）方法的具体步骤，包括基于谱图的突触修剪、基于介数中心性的节点修剪和特征向量的去局域化，以及神经元时间尺度的优化。这些步骤共同确保了网络在保持稳定性和完整性的同时，实现了高效的计算。

应用

文章强调了异质性尖峰神经网络（HRSNNs）在能源效率边缘计算中的应用前景。由于其能够在保持高性能的同时减少尖峰活动和计算需求，HRSNNs特别适合于资源受限的环境，如移动设备和嵌入式系统。此外，HRSNNs的生物合理性和高效性能也使其在神经形态硬件和脑机接口等领域具有广泛的应用潜力。随着进一步的研究和优化，HRSNNs有望在智能计算和机器学习领域发挥重要作用。