摘要

本文介绍了一种名为CAPM（Convex Adversarial Polytope for Maxpool-based CNN）的新方法，用于提高基于Maxpool的卷积神经网络（CNN）在面对有界范数对抗扰动时的验证边界。通过将Maxpool函数分解为一系列ReLU函数，CAPM扩展了凸松弛技术，从而能够通过双网络高效计算验证边界。实验结果表明，CAPM不仅提供了与最先进方法相媲美的验证精度，而且计算成本远低于现有的验证方法，如DeepZ、DeepPoly和PRIMA。此外，CAPM适用于大规模CNN，这在以往的研究中通常被认为是计算上不可行的。在某些情况下，CAPM的速度比PRIMA、DeepPoly和DeepZ快40倍、20倍或2倍，并且提供了显著更高的验证边界。

原理

CAPM方法的核心在于将Maxpool函数分解为一系列ReLU函数，并通过凸松弛技术来处理这些非线性函数。具体来说，CAPM通过将Maxpool操作转换为多个ReLU激活函数的组合，从而使得原本非凸的优化问题可以通过凸优化方法来近似解决。这种方法不仅提高了验证的准确性，还大大降低了计算复杂度。通过构建一个双网络结构，CAPM能够高效地计算出验证边界，即使在处理大规模CNN时也能保持较低的计算成本。

流程

CAPM的工作流程包括以下几个关键步骤：

1. Maxpool分解：将Maxpool函数分解为多个ReLU函数。
2. 凸松弛：应用凸松弛技术处理分解后的ReLU函数。
3. 双网络构建：构建一个双网络结构，用于高效计算验证边界。
4. 验证边界计算：通过双网络计算出验证边界，并评估其对对抗扰动的鲁棒性。

具体示例：

• 对于一个简单的基于Maxpool的网络，CAPM首先将Maxpool操作分解为多个ReLU激活函数。
• 然后，通过凸松弛技术，将这些ReLU函数的非线性特性转化为线性不等式约束。
• 最后，通过双网络结构，CAPM能够快速计算出验证边界，并评估网络对对抗扰动的鲁棒性。

应用

CAPM方法的应用前景广泛，特别是在需要高精度验证的场景中，如自动驾驶、面部识别和安全关键系统。由于其高效的计算性能和较低的资源需求，CAPM可以被广泛应用于大规模CNN的验证，尤其是在资源受限的环境中。此外，CAPM的算法复杂度为O(W^2NK)，使其在处理大规模数据集时具有显著优势。