摘要

本文针对跨多领域面部表情识别（CMFER）中的域间和域内偏移问题，提出了一种名为LA-CMFER的新型学习对齐框架。该框架通过全局和局部分支提取特征，并采用双层域间对齐方法优先处理难以对齐的样本，同时在聚类层面利用类别属性生成良好的特征空间，从而缩小域间偏移。为解决域内偏移，引入了多视角域内对齐方法，通过多视角聚类一致性约束和预测相似矩阵追求全局和局部视角间的一致性，优化伪标签并消除潜在噪声。实验结果表明，LA-CMFER在六个基准数据集上的表现优于现有方法。

原理

LA-CMFER框架的核心在于其双层域间对齐和多视角域内对齐机制。双层域间对齐包括样本级和聚类级对齐：样本级对齐通过硬度感知加权函数优先处理不确定性高的样本，聚类级对齐则利用类别信息对样本进行分组，优化特征空间。多视角域内对齐通过多视角聚类一致性约束确保全局和局部分支的预测一致性，并通过多视角投票方案生成高质量的伪标签，促进分支间的知识交互。这些机制共同作用，有效提取多源域的判别性面部表情特征，提升目标域的分类性能。

流程

LA-CMFER的工作流程如下：首先，通过共享编码器对源域和目标域的图像进行编码，分别提取全局和局部特征。然后，利用双层域间对齐损失函数处理域间偏移，通过样本级和聚类级对齐优化特征空间。接着，应用多视角域内对齐损失函数，确保全局和局部分支的预测一致性，并通过多视角投票方案生成高质量的伪标签。最后，结合监督损失、域间对齐损失、多视角聚类一致性损失和多视角投票损失，优化模型参数。在推理阶段，选择两个分支中概率更高的预测作为最终结果。

应用

LA-CMFER框架在人机交互、情感分析等领域具有广泛的应用前景。其能够有效处理跨多领域的面部表情识别问题，适用于不同采集环境、种族特征等多种复杂场景。随着技术的进一步成熟，LA-CMFER有望在智能监控、心理健康评估、虚拟现实交互等多个领域发挥重要作用。