摘要

本文提出了一种用于面部属性分类的自监督学习管道，旨在解决自动化面部属性分类中存在的群体偏见问题。传统的偏见缓解技术主要基于监督学习，需要大量标记训练数据以实现泛化和可扩展性。然而，标记数据有限、需要繁琐的注释、存在隐私风险，并可能延续人类偏见。相比之下，自监督学习（SSL）利用自由可用的未标记数据，使训练模型更具可扩展性和泛化性。本文提出的方法通过利用完全未标记的数据，通过预训练编码器生成伪标签，结合多样化的数据筛选技术和基于元学习的加权对比学习，显著优于现有的SSL方法。在FairFace和CelebA数据集上的广泛评估证明了我们的管道在获得公平性能方面的有效性，为SSL在面部属性分类的公平性方面设定了新的基准。

原理

本文提出的自监督学习管道包括数据筛选和训练两个主要部分。数据筛选部分通过预训练的编码器生成图像嵌入，利用这些嵌入进行数据去重和相似性搜索，以增强未标记训练数据的质量和多样性。训练部分采用伪标签生成技术，通过零样本方法生成伪标签，并使用监督对比损失（SupCon Loss）进行训练，该损失通过修改标准对比损失以包括监督信号，从而在多视图批次中处理同一类别的多个样本。此外，还采用了基于元学习的加权策略，根据伪标签验证集的梯度信号为单个样本分配权重，以提高性能和公平性。

流程

1. 数据筛选管道：

   • 收集大量未标记数据集，通过预训练的ViT-L/16视觉编码器生成图像嵌入。
   • 使用余弦相似度进行数据去重，去除重复图像。
   • 通过相似性搜索从非筛选集中检索与FairFace数据集（筛选集）相似的图像，使用Faiss库进行高效的KNN搜索。
   • 可选地，使用CRFIQA工具进行图像质量过滤，最终得到约200K高质量图像。

2. 自监督训练管道：

   • 使用预训练的CLIP模型生成增强筛选数据集的伪标签。
   • 采用监督对比学习（SupCon Loss）进行训练，该损失通过修改标准对比损失以包括监督信号，从而在多视图批次中处理同一类别的多个样本。
   • 引入基于元学习的加权策略，根据伪标签验证集的梯度信号为单个样本分配权重，以提高性能和公平性。

应用

本文提出的自监督学习管道在面部属性分类领域具有广泛的应用前景。通过有效缓解群体偏见，该方法可以应用于各种需要公平性的场景，如人脸识别、性别分类、种族分类等。此外，该方法的可扩展性和泛化性使其能够适应不同规模和类型的数据集，为未来的自监督学习研究提供了新的基准。