摘要

本文针对深度神经网络（DNNs）的安全性和鲁棒性问题，提出了一种基于数据驱动的Lipschitz连续性方法，以提高对抗性攻击下的模型鲁棒性。该方法通过重新映射输入域到一个受限范围，降低Lipschitz常数，从而增强模型的鲁棒性。与传统的对抗训练模型不同，本方法无需重新训练，几乎不增加额外成本，且实验结果表明该方法在CIFAR10、CIFAR100和ImageNet数据集上达到了最佳的鲁棒精度。

原理

本文提出的方法基于Lipschitz连续性的理论，通过引入经验Lipschitz常数来更精确地反映观测数据的鲁棒性。与传统的Lipschitz常数定义不同，经验值是从一组观测数据中得出的，从而消除了从未从真实数据中提取的空间的影响。通过将特定层的输入域重新映射到一个受限范围，可以减少其经验Lipschitz常数，从而提高鲁棒性。该方法的核心在于引入一个伪造函数（forged function），该函数通过调整输入域的范围来降低最大奇异值，从而减少模型的Lipschitz常数，增强对抗性攻击的抵抗力。

流程

1. 定义经验Lipschitz常数，该常数基于观测数据集S。
2. 提出一个伪造函数fforge(x)，该函数在输入值小于某个阈值cth i时将其置零，否则保持不变。
3. 通过在训练数据集上扫描一次来确定阈值cth i的值，无需重新训练或微调。
4. 将伪造函数插入到卷积神经网络（ConvNets）的残差块或Transformer的MLP层中。
5. 通过实验验证该方法在不同模型和数据集上的鲁棒性提升效果。

应用

该方法适用于各种现有的深度学习模型，特别是在需要高鲁棒性的应用场景中，如医疗、自动驾驶系统等。由于其几乎无需额外成本的特性，该方法有望在实际部署中广泛应用，特别是在资源受限的环境中。此外，该方法的通用性使其可以与多种训练技术结合，进一步提升模型的鲁棒性。