摘要

本文探讨了视觉语言模型（VLMs）如GPT-4V在处理人类面部图像时如何延续种族和性别刻板印象的问题。研究发现，当GPT-4V被要求根据面部图像编写故事时，它对从属种族和性别群体的描述更为单一，且依赖特定的、通常是积极的刻板印象。更重要的是，VLM的刻板印象是由视觉线索驱动的，而非仅仅基于群体成员身份。例如，被评定为更具典型黑人特征和女性气质的面孔会引发更多的刻板印象。这些发现表明，VLMs可能通过与种族和性别群体相关的微妙视觉线索来关联刻板印象，这种关联可能难以缓解。研究强调了在VLMs日益模仿人类感知能力时，解决这些偏见的重要性。

原理

视觉语言模型（VLMs）通过训练大量图像-文本对数据集，学习将视觉信息和文本信息在共享的嵌入空间中进行整合和解释。这种训练使模型能够理解图像和文本之间的关系，并执行如对比学习、生成任务和图像-文本对齐等任务。然而，随着VLMs在模仿人类感知和认知过程方面的进步，它们不仅再现了现有的偏见，还可能产生独特的双模态偏见。本研究通过分析GPT-4V对人类面部图像的反应，揭示了模型如何基于视觉线索（如种族和性别的典型特征）产生刻板印象，并探讨了这些行为的潜在原因及其对公平和公正表征群体的启示。

流程

研究分为两个主要阶段：首先，模型被要求根据提供的面部图像生成文本描述；其次，通过量化方法评估生成的文本中是否存在单一性偏见和特质关联。具体步骤包括：

1. 使用GPT-4V生成与面部图像相关的文本描述。
2. 通过编码生成的文本来计算句子嵌入，这些嵌入包含了句子的语义和句法信息。
3. 使用混合效应模型分析种族和图像典型性对文本单一性的影响。
4. 使用结构主题模型（STM）分析种族如何影响VLM对特质的关联。 例如，在分析种族刻板印象时，模型被要求生成关于非洲裔和白人美国男性的文本，然后评估这些文本中的单一性和特质关联。

应用

本研究揭示了VLMs在处理视觉信息时可能产生的刻板印象问题，这对人工智能的应用领域具有重要影响。未来，这些发现可以用于指导开发更公平、无偏见的图像识别和文本生成系统，特别是在需要高度敏感性和准确性的领域，如法律、医疗和教育。此外，研究结果还强调了在设计和部署VLMs时，需要考虑和解决潜在的偏见问题，以确保技术的广泛应用不会加剧社会不平等。