摘要

本文介绍了一个名为FaceCaption-15M的大规模多模态面部图像-文本数据集，该数据集包含超过1500万对面部图像及其自然语言描述。该数据集的构建旨在促进面部相关任务的研究，如面部属性识别、文本-图像检索和基于草图的面部图像检索。通过综合分析图像质量、文本自然度、文本复杂度和文本-图像相关性，证明了FaceCaption-15M的优越性。此外，本文还训练了一个面部语言-图像预训练模型（FLIP），并在多个面部相关任务上取得了最先进的结果。该数据集和模型的代码和数据已公开，以促进进一步的研究和应用。

原理

FaceCaption-15M数据集的构建过程包括面部图像的收集、面部属性的自动标注和面部描述文本的生成。首先，从LAION-Face数据集中筛选出包含面部的图像，并使用RetinaFace模型进行面部区域的检测和裁剪。接着，利用自动标注算法预测面部属性，并结合语法模板和大型语言模型（LLM）生成面部图像的自然语言描述。FLIP模型则是一个多模态表示模型，通过图像编码器和文本编码器分别处理图像和文本输入，并通过对比损失和匹配损失来学习图像和文本之间的对齐关系。

流程

数据集的构建流程包括以下步骤：

1. 图像收集：从LAION-Face数据集中筛选并裁剪出高质量的面部图像。
2. 属性标注：使用自动标注算法预测面部属性，确保高相关性和准确性。
3. 文本生成：结合语法模板和LLM生成自然、多样且准确的面部描述文本。

FLIP模型的训练流程如下：

1. 模型架构：包含图像编码器和文本编码器，以及用于融合视觉信息的交叉注意力层。
2. 损失函数：使用图像-文本对比损失（ITC）和图像-文本匹配损失（ITM）来优化模型。
3. 训练设置：在8块NVIDIA A100 GPU上进行训练，使用AdamW优化器和混合精度训练。

应用

FaceCaption-15M数据集和FLIP模型在多个面部相关任务上展现出卓越的性能，预示着在社交媒体、移动支付系统、安全监控等领域的广泛应用前景。此外，该数据集和模型的公开可用性将促进面部识别和图像理解技术的进一步发展。