摘要

本文探讨了人类与深度神经网络（DNN）在图像表示上的相似性与差异性。通过提出一个通用框架，该研究使得人类和DNN的表示能够进行比较，揭示了DNN在视觉和语义维度上的低维嵌入，与人类相比，DNN更倾向于视觉特征而非语义特征。尽管DNN的维度在模拟实验中显示出一定的可解释性，但与人类的直接比较显示了它们在处理图像时的显著差异。通过使表示直接可比较，本研究揭示了表示对齐的重要挑战，并为提高其可比性提供了方法。

原理

该研究通过模拟人类在“奇异项”任务中的行为决策，捕捉DNN对象表示的核心特征。首先，构建一个基于DNN特征的点积相似空间，然后对于给定的三元组对象，识别出在这个相似空间中最相似的配对，使得剩余的对象成为“奇异项”。通过这种方式，研究者能够学习到人类参与者和DNN的低维对象表示，这些表示被优化以预测在三元组任务中的行为选择。此外，研究还使用了Grad-CAM等技术来识别对每个个体维度最相关的图像区域，从而揭示DNN的最终层如何捕捉允许区分具有不同功能重要性的对象部分的表示。

流程

研究首先从人类和DNN中收集关于1,854个不同对象图像的“奇异项”判断。对于DNN，使用预训练的VGG-16模型，并通过计算每对图像的点积来模拟“奇异项”选择。然后，从这两组可用的三元组选择中，生成两个人类和DNN的表示嵌入。这些嵌入被优化以预测人类和DNN在“奇异项”任务中的选择。通过应用稀疏性和非负性约束，确保了嵌入的可解释性，并支持了认知上合理的维度标准。优化过程中，每个随机初始化的嵌入使用了一种近似贝叶斯推理方法进行优化。最终，得到了两个稳定的低维嵌入，分别捕捉了图像间相似性的84.03%和90.85%的方差。

应用

该研究框架不仅限于图像分类任务，还可以扩展到其他DNN架构、训练目标或数据集，以及超越分类的其他行为任务。此外，该框架可以应用于脑记录或其他类型的刺激，从而为理解人类和AI表示之间的关系提供更全面的视角。这不仅有助于识别更好的候选模型来模拟人类认知和行为，还能开发出更符合人类认知的人工智能系统。