摘要

本文介绍了《GenderBias-VL: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing》，该研究首次针对大型视觉语言模型（LVLMs）中的职业相关性别偏见进行评估，特别是在个体公平性标准下。研究通过反事实视觉问题构建了GenderBias-VL基准，包含34,581个视觉问题反事实对，覆盖177种职业。该基准不仅评估了15个常用的开源LVLMs和先进的商业API（如GPT-4o和Gemini-Pro），还揭示了这些模型中普遍存在的性别偏见。研究结果表明，LVLMs在处理职业认知任务时存在显著的性别偏见，这些偏见可能源自训练数据中的社会偏见。此外，该研究还提供了一个全面的性别偏见评估数据集、一个最新的LVLMs偏见排行榜，以及对这些模型偏见的细致理解。

原理

GenderBias-VL基准通过使用文本到图像扩散模型生成职业图像及其性别反事实图像，然后通过识别具有高语义相似性但性别比例相反的职业对来生成相应的文本选项。这种方法使得能够创建大规模的视觉问题反事实对，以暴露LVLMs中的偏见。具体来说，研究使用了Stable Diffusion XL和InstructPix2Pix等模型来生成和编辑图像，确保图像的适宜性和有效性。通过这种方式，研究能够量化LVLMs在选择职业选项时的偏见，特别是在多模态和单模态情境下。

流程

研究首先创建职业图像及其性别反事实对，然后识别具有高语义相似性的职业对。接着，生成视觉问题反事实对，这些问题的答案选项是基于职业对的性别比例。例如，一个视觉问题可能是“这个图像中的女性/男性的职业是什么？”选项则包括一个男性主导的职业和一个女性主导的职业。通过这种方式，研究能够评估LVLMs在不同性别属性下的职业认知能力和偏见。具体流程包括图像生成、图像过滤、职业对识别和视觉问题反事实对的创建。

应用

GenderBias-VL基准不仅为评估和理解LVLMs中的性别偏见提供了工具，还为未来的模型开发和改进提供了方向。通过揭示和量化这些偏见，研究有助于推动更公平、更负责任的AI模型设计。此外，该基准还可以用于教育和培训，帮助开发者和研究人员意识到模型中可能存在的偏见，并采取措施进行纠正。随着AI技术的广泛应用，这样的基准对于确保技术服务于社会公正和公平至关重要。