摘要

本文介绍了一种名为ZOBNN（Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters）的创新技术，旨在提高二值神经网络（BNNs）的可靠性和故障容忍度。通过精心设计的量化方法，ZOBNN在不增加任何计算开销的情况下，显著提升了BNNs对内存故障的鲁棒性。该技术通过限制浮点参数的范围，减少了内存故障对网络输出的影响，从而在保持高精度的同时，实现了对安全关键应用的支持。

原理

ZOBNN的核心创新在于其精心设计的量化方法，该方法通过限制神经网络参数的范围，特别是浮点参数的范围，来提高网络的故障容忍度。具体来说，ZOBNN采用了一种故意均匀量化的策略，将浮点参数限制在一个较小的范围内，从而减少了内存故障导致的参数偏差对网络输出的影响。这种量化方法不仅提高了网络的可靠性，而且没有引入任何额外的计算开销，确保了网络在资源受限环境下的高效运行。

流程

ZOBNN的工作流程主要包括以下几个步骤：

1. 量化参数：通过量化函数将浮点参数转换为整数表示，使用参数∆来确定量化的范围。
2. 故障模拟：在BNN的推理过程中引入软件级别的故障模拟，通过翻转内存中的比特来模拟故障。
3. 故障分析：分析不同故障率下网络的性能变化，特别是关注故障对网络输出的影响。
4. 优化网络：通过选择性量化方法，优化网络中S-type层的量化策略，确保网络在处理量化和非量化输入时都能保持一致的输出。

例如，在FracBNN和Dorefanet这两个SOTA BNN模型上进行的实验表明，ZOBNN在不同故障率下都能保持较高的准确率，显著优于传统的浮点DNN。

应用

ZOBNN技术特别适用于资源受限且对实时性能要求高的边缘计算环境，如自动驾驶车辆、医疗设备和视频分析系统。通过提高网络的故障容忍度，ZOBNN能够在恶劣的硬件环境下保持稳定的性能，为安全关键应用提供可靠的深度学习解决方案。此外，由于其零额外开销的特性，ZOBNN也适用于需要高效能比的嵌入式系统。