摘要

本文介绍了一种基于注意力机制的双模态情感分类方法，由Mazen Elabd和Sardar Jaf在2024年提出。该研究主要针对从文本和语音数据中自动识别人类情感的挑战，提出了一种新颖的深度学习架构，该架构结合了文本和语音信息，通过注意力机制增强特征提取能力，从而提高情感分类的准确性。研究结果表明，这种双模态方法在情感分类任务上优于单一模态方法，并且其提出的注意力机制在多个基准测试中达到了最先进的性能。

原理

本文提出的双模态情感分类系统主要基于深度学习技术，特别是利用了BERT和Audio Spectrogram Transformer（AST）两种模型的最后一层隐藏状态作为特征表示。通过一个多头的交叉注意力层来融合这两种模态的特征，这一层能够捕捉到文本和语音之间的交互信息。随后，通过一个多头的自注意力层进一步丰富融合后的特征表示，最后通过一个线性层和一个分类层进行情感分类。这种设计不仅能够有效地利用两种模态的信息，还能够通过注意力机制动态地调整不同模态信息的重要性，从而提高分类性能。

流程

该系统的工作流程包括以下几个步骤：首先，使用BERT模型处理文本数据，AST模型处理语音数据，分别提取各自的特征表示。然后，通过一个多头的交叉注意力层将这两种特征进行融合，这一层将语音模型的输出作为关键张量，文本模型的输出作为查询和值张量。接着，通过一个多头的自注意力层进一步处理融合后的特征，以增强其表达能力。最后，这些特征通过一个线性层和一个分类层进行最终的情感分类。整个流程通过一个公开的多模态情感数据集MELD进行训练和测试，确保了系统的实用性和有效性。

应用

该研究提出的双模态情感分类系统具有广泛的应用前景，特别是在人机交互、心理健康监测、社交媒体分析等领域。通过准确识别用户的情感状态，系统可以提供更加个性化和适应性的服务，如情感驱动的对话系统、情绪化的内容推荐等。此外，该技术还可以应用于教育、医疗等领域，通过分析用户的情感反应来优化服务和治疗方案。