摘要

本文由Hongbo Zhu等人在《无噪声解释用于驾驶行为预测》一文中提出，主要针对基于Transformer架构的人工智能模型中注意力机制的解释性问题。尽管注意力机制在多个AI领域取得了显著进展，但其内部工作原理仍需深入探索。现有的解释方法多侧重于分析注意力机制或基于梯度的归因，忽略了输入特征值的大小或跳跃连接模块的影响，且往往产生与模型决策无关的噪声像素归因，阻碍了人们对模型可视化结果的信任。为此，作者提出了一种易于实现且有效的解决方案——平滑噪声范数注意力（SNNA），通过权衡注意力与变换值向量的范数，并利用注意力梯度引导标签特定信号，随机采样输入扰动并平均相应梯度以生成无噪声归因。与以往在二分类或多分类任务中评估解释方法不同，本文探索了更复杂的多标签分类场景，即驾驶行为预测任务，并专门为此训练了一个模型。定性和定量评估结果均显示，SNNA在生成更清晰的视觉解释图和排序输入像素重要性方面优于其他最先进的基于注意力的解释方法。

原理

SNNA方法的核心在于通过结合注意力权重、变换值向量的范数以及梯度信息，生成无噪声的归因图。首先，SNNA通过计算注意力权重与变换值向量范数的乘积，来衡量输入向量对输出的影响。这一步骤不仅考虑了注意力权重，还考虑了变换值向量的大小，从而避免了仅依赖注意力权重可能导致的错误解释。接着，SNNA利用梯度信息来进一步筛选和加权注意力权重，确保归因图能够准确反映模型对输入特征的实际依赖。最后，通过随机采样输入扰动并平均相应梯度，SNNA有效地过滤掉了与模型决策无关的噪声，生成了清晰且准确的归因图。

流程

SNNA的工作流程分为两个主要阶段：首先训练预测器，然后使用SNNA解释器生成无噪声的视觉解释。在训练预测器阶段，模型通过自监督学习在大量未标记数据上进行预训练，然后在较小的人工标记驾驶行为数据集上进行监督微调。在解释阶段，SNNA解释器通过权衡注意力与变换值向量的范数，并利用注意力梯度引导标签特定信号，随机采样输入扰动并平均相应梯度，生成无噪声的归因图。具体流程如图1所示，展示了从训练预测器到生成无噪声视觉解释的完整工作流程。

应用

SNNA方法在驾驶行为预测任务中的成功应用，展示了其在多标签分类问题上的广泛潜力。由于其能够生成清晰且无噪声的归因图，SNNA不仅有助于提高模型的可解释性和透明度，还能增强用户对AI系统的信任。此外，SNNA的原理和方法可以自然地扩展到其他基于Transformer架构的应用场景，如自然语言处理、图像识别等，为这些领域的模型解释提供了一种新的有效工具。随着自动驾驶技术的不断发展，SNNA在提高自动驾驶系统的安全性和可靠性方面具有重要的应用价值。