SF-GNN:一种新型自过滤图神经网络,有效缓解深度GNN性能退化问题

SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network

摘要

本文介绍了一种名为SF-GNN的新方法,用于解决深度图神经网络(GNN)中的性能退化问题。传统的GNN在处理复杂图结构时,如知识图谱,可能会遇到性能退化,表现为节点表示的质量下降。SF-GNN通过引入一个自过滤模块(SFM),评估节点表示的质量,并决定是否将其纳入消息传播过程中,从而有效地缓解了这一问题。实验结果表明,SF-GNN在节点分类和链接预测任务中均优于现有的基线方法,特别是在处理深度GNN时表现出色。

原理

SF-GNN的核心创新在于为每个节点定义了两种表示:节点表示和消息表示。节点表示代表节点的特征信息,而消息表示则专门用于向邻接节点传播信息。自过滤模块(SFM)评估节点表示的质量,并根据评估结果决定是否将其纳入到消息传播中。具体来说,SFM通过计算节点表示的质量得分,使用gumbel_softmax函数输出0或1,决定是否过滤掉低质量的节点表示。这一机制确保了只有高质量的节点表示被用于消息传播,从而提高了GNN的整体性能。

流程

SF-GNN的工作流程包括以下几个步骤:

  1. 初始化每个节点的节点表示和消息表示。
  2. 在每个GNN层中,节点将其消息表示传递给邻接节点。
  3. 邻接节点接收消息表示后,通过自过滤模块(SFM)评估节点表示的质量。
  4. SFM根据评估结果更新消息表示,过滤掉低质量的节点表示。
  5. 更新后的消息表示被用于下一层的传播。
  6. 重复上述过程,直到达到预设的GNN层数。

例如,在知识图谱的链接预测任务中,SF-GNN通过上述流程,确保了在多层GNN中,只有高质量的节点表示被用于预测边的存在,从而提高了预测的准确性。

应用

SF-GNN方法具有广泛的应用前景,特别是在处理复杂图结构的任务中,如知识图谱的链接预测、社交网络分析和生物信息学中的蛋白质相互作用网络分析。由于其能够有效缓解深度GNN的性能退化问题,SF-GNN有望在未来的图数据处理和分析中发挥重要作用。