摘要

本文介绍了一种基于空间关系的多视角图变换器（MVGT），用于脑电图（EEG）情感识别。EEG作为一种捕捉大脑头皮电活动的医学成像技术，在情感计算中得到了广泛应用。然而，现有的研究很少同时从几何和解剖结构的多角度分析EEG信号。MVGT模型整合了时间、频率和空间域的信息，包括几何和解剖结构，以全面增强模型的表达能力。通过将EEG通道的空间信息纳入模型作为编码，提高了模型感知通道空间结构的能力。实验结果表明，该模型在公开数据集上的表现优于近年来的先进方法，能够有效地从多个域提取信息并捕捉通道间的关系。

原理

MVGT模型的核心在于其多视角的图变换器结构，该结构通过整合时间、频率和空间域的信息，特别是几何和解剖结构的信息，来增强模型的表达能力。模型通过引入基于几何和脑叶信息的空间结构编码，缓解了传统图神经网络（GNN）中存在的过平滑、不足和过压缩等潜在风险。此外，模型通过注意力机制和几何结构编码，自适应地学习通道间的相关性，从而在情感识别任务中提高了模型的性能。

流程

MVGT模型的工作流程包括以下几个关键步骤：首先，对EEG信号进行时间嵌入，将其视为多变量时间序列，并使用重叠滑动窗口分割信号。其次，进行空间编码，包括脑区编码和几何结构编码，以整合脑区的生理解剖信息和通道间的空间关系。最后，通过图变换器编码器处理这些嵌入信息，利用多头部注意力（MHA）和前馈神经网络（FFN）进行特征提取和分类。整个过程通过迭代优化，逐步细化模型对情感模式的识别能力。

应用

MVGT模型在EEG情感识别领域的应用前景广阔。由于其能够有效地整合多域信息并捕捉通道间的关系，该模型在情感计算、人机交互系统以及心理健康监测等领域具有重要的应用价值。随着技术的进一步发展和优化，MVGT模型有望在更多基于生理信号的情感识别任务中发挥关键作用。