摘要

本文由YUHANG LU, ZEWEI XU, 和 TOURADJ EBRAHIMI 撰写，探讨了基于深度卷积神经网络的人脸识别系统在验证和识别任务中的应用。尽管这些系统在准确性上取得了显著进步，但它们通常被批评为缺乏可解释性。文章提出了一种全面的视觉显著性解释框架，旨在理解AI人脸识别系统的决策过程。该框架首先定义了基于视觉显著性图的解释方法，并针对人脸验证和识别两种常见情况分别进行了详细阐述。随后，提出了一种名为CorrRISE的新型模型无关解释方法，该方法能够生成显著性图，揭示任意给定人脸图像之间的相似和不相似区域。此外，文章还设计了一种新的评估方法，用于量化和比较通用视觉显著性解释方法在人脸识别中的性能。实验结果表明，CorrRISE方法在生成有洞察力的显著性图方面表现优异，特别是在相似性图方面，与现有最先进的解释方法相比具有明显优势。

原理

CorrRISE方法的核心在于通过随机输入采样和相关性分析来生成显著性图。该方法首先随机生成多个掩码，然后将这些掩码应用于输入图像，观察模型输出（即相似度分数）的变化。通过计算这些相似度分数与掩码之间的皮尔逊相关性，CorrRISE能够生成显著性图，其中正相关系数表示图像中与另一图像相似的区域，负相关系数表示不相似的区域。这种方法不仅适用于人脸验证任务，还能通过重复验证过程应用于人脸识别任务，从而生成针对探针图像和多个图库图像的显著性图。

流程

CorrRISE的工作流程包括两个主要步骤：掩码生成和显著性图生成。在掩码生成阶段，算法随机选择多个小方块补丁，并将这些补丁的值设置为0，从而生成二进制掩码。这些掩码随后被应用于输入图像，以遮挡图像的部分区域。在显著性图生成阶段，算法使用这些掩码来遮挡图像的不同部分，并记录模型输出的相似度分数。通过计算这些分数与掩码之间的相关性，算法能够生成显著性图，突出显示图像中与另一图像相似或不相似的区域。具体流程如下：

1. 初始化掩码生成器的参数，包括掩码的数量和每个掩码中补丁的数量及大小。
2. 随机生成多个掩码，并将这些掩码应用于输入图像。
3. 计算每个掩码应用后的相似度分数，并记录这些分数。
4. 通过皮尔逊相关性分析，生成显著性图，突出显示相似和不相似的区域。

应用

CorrRISE方法的应用前景广泛，特别是在需要高度可解释性的人脸识别系统中。由于其模型无关的特性，CorrRISE可以应用于各种人脸识别模型，提供对模型决策过程的深入理解。此外，该方法不仅限于人脸识别，还可以扩展到其他需要图像比较的领域，如图像检索和对象检测。随着对AI系统透明度和可解释性要求的提高，CorrRISE有望在多个领域发挥重要作用，帮助开发者和用户更好地理解和信任AI系统的决策。