摘要

本文探讨了视觉-语言模型（VLMs）在预训练过程中无意中学习到的偏见问题，特别是在性别信息与特定物体或场景相关联时。传统的偏见缓解方法主要集中在修改输入和监控模型输出概率分数的变化，但这些方法往往难以从模型组件的角度全面理解偏见。本文提出了一种结合因果中介分析的框架，用于测量和映射VLMs中偏见生成和传播的路径。研究结果表明，图像特征是偏见的主要贡献者，其影响远超文本特征。通过在图像编码器中模糊性别表示，可以有效减少偏见，同时保持模型性能和计算需求。

原理

本文通过因果中介分析方法，深入探讨了VLMs中偏见的生成和传播机制。因果中介分析允许我们识别干预措施对模型偏见的直接和间接影响，通过测量不同模型组件（如文本模块、图像模块和融合模块）对偏见的贡献，从而揭示偏见的主要来源。研究发现，图像特征在偏见生成中起主导作用，特别是在图像编码器中的贡献最为显著。通过在图像编码器中实施性别模糊化干预，可以显著减少模型中的性别偏见。

流程

研究首先在未干预的情况下测量了VLMs在MSCOCO和PASCAL-SENTENCE数据集上的偏见指标BIASVL。随后，通过在输入模块中实施替换性别和遮蔽性别等干预措施，观察BIASVL值的变化。进一步的因果中介分析揭示了图像编码器和文本编码器在偏见生成中的不同作用。最终，通过在图像编码器中模糊性别表示，实现了有效的偏见缓解，同时保持了模型的整体性能。

应用

本文提出的偏见测量和缓解框架不仅适用于物体检测任务，还可扩展到其他视觉-语言模型任务，如图像分类、图像搜索和视觉问答等。随着多模态交互研究的深入，该框架有望进一步增强对多感官输入如何影响AI系统中偏见的理解，为构建更加公平和无偏见的AI系统提供理论和实践支持。