摘要

本文探讨了不同对齐度量之间的相关性，特别是在评估人工神经网络与人类神经和行为数据的对齐程度时。通过分析Brain-Score中的视觉数据和多种对齐度量，研究发现这些度量之间的成对相关性通常较低，有时甚至是负的。例如，在Brain-Score上完全评估的80个模型中，平均相关性仅为0.198。这表明，与人类感知对齐可能最好被视为一个多维概念，不同的方法测量不同的方面。文章还探讨了如何正确组合和聚合这些度量，强调了综合基准测试的重要性，并提出了几种聚合选项以确保不同对齐度量公平地贡献于综合基准分数。

原理

本文通过计算不同对齐度量之间的Spearman秩相关系数来评估它们的一致性。Spearman秩相关系数适用于评估模型排名而非线性关系，通过保守的Bonferroni校正来调整显著性阈值以适应多次比较。研究发现，尽管某些行为度量在同一数据集上表现出强相关性，但神经度量组（如V4和IT）及其子组（如V1区域内的纹理和感受野大小）的内部一致性高于与其他度量的外部一致性。此外，新引入的度量（如odd-one-out相似性和注意力图相似性）与现有度量的相关性较低，表明它们测量了不同的对齐方面。

流程

研究首先从Brain-Score基准中提取数据，该基准整合了51种不同的度量来捕捉模型与生物系统的对齐。数据包括从灵长类动物提取的神经数据和行为相似性度量，如错误模式分析和形状偏差。然后，研究计算了这些度量之间的成对Spearman秩相关系数，考虑了所有度量上都有得分的95个模型。通过去除重复和低准确率的模型，最终分析了88个模型。此外，研究还探索了不同的聚合方法，包括算术平均、z变换平均和平均排名，以确定最佳的度量集成方式。

应用

本文的研究结果强调了在构建神经假体和提高机器感知能力方面，深度神经网络（DNNs）与人类视觉系统对齐的重要性。通过识别和整合不同的对齐度量，可以更全面地评估和改进DNNs的性能，特别是在提高其鲁棒性和泛化能力方面。未来的研究可以进一步探索如何基于度量的语义结构来优化模型评分，以及如何制定理想的集成方案的公理化要求。