摘要

本文介绍了一种名为HASNAS的新型硬件感知脉冲神经架构搜索（NAS）框架，该框架专为神经形态计算内存储（CIM）系统设计。HASNAS旨在发现能够在给定的内存、面积、延迟和能量消耗约束下提供高精度的脉冲神经网络（SNN）。SNN因其超低功耗计算能力在解决多样化的机器学习任务中显示出潜力。然而，现有的SNN架构往往未考虑应用和底层CIM硬件的约束，限制了其性能和效率。HASNAS通过优化SNN操作、开发有效的SNN架构和设计硬件感知的搜索算法，实现了在满足多重约束的同时快速找到高性能SNN的目标。实验结果表明，HASNAS能够在CIFAR10和CIFAR100数据集上实现高达11倍的搜索速度提升，同时满足严格的硬件约束，为高效设计自动化提供了可能。

原理

HASNAS框架的核心在于其硬件感知的搜索算法，该算法通过以下关键步骤实现：

1. 优化SNN操作：通过实验分析不同SNN操作对精度和内存成本的影响，选择对精度贡献大且内存成本低的操作。
2. 开发网络架构：利用选定的SNN操作构建神经细胞架构（Cell-Based Architecture），并通过系统地堆叠这些细胞层来构建整个网络架构。
3. 硬件感知搜索算法：在搜索过程中，不仅考虑网络架构的性能，还同时监控并确保满足内存、面积、延迟和能量消耗的约束。

HASNAS通过这些步骤，能够在广泛的搜索空间中快速找到满足多重硬件约束的高性能SNN架构。

流程

HASNAS的工作流程包括以下几个主要阶段：

1. 初始化：设定搜索迭代次数、预定义操作和细胞架构。
2. 搜索细胞架构：探索细胞A和细胞B的所有可能架构组合，构建网络架构。
3. 约束评估：评估每个候选架构的内存、面积、延迟和能量消耗，确保满足所有约束。
4. 性能评估：使用适应度函数评估每个候选架构的性能，选择性能最佳的架构。
5. 输出结果：输出满足所有约束且性能最佳的SNN架构。

具体示例中，HASNAS在CIFAR10和CIFAR100数据集上的实验展示了其如何在满足4M参数内存、100mm²面积、400ms延迟和120µJ能量消耗的约束下，找到高性能的SNN架构。

应用

HASNAS框架的应用前景广泛，特别适用于需要高效能和低功耗的神经形态计算系统。这些系统可以应用于图像分类、对象识别、生物信号处理、持续学习和机器人智能等多个领域。HASNAS的快速搜索能力和对硬件约束的考虑，使其成为开发下一代高效、节能神经形态计算系统的关键工具。