探索稀疏几何图神经网络的表达能力:EGENNET架构的突破与应用

On the Expressive Power of Sparse Geometric MPNNs

摘要

本文由Yonatan Sverdlov和Nadav Dym共同撰写,探讨了在化学和其他科学应用中,稀疏几何图的消息传递神经网络(MPNNs)的表达能力。文章指出,尽管现有的模型在完全连接的图上可以区分大多数非等价的几何图,但在实际应用中,节点通常只与最近的邻居连接,这限制了模型的性能。论文提出了一种新的架构EGENNET,该架构在保持理论保证的同时,在合成和化学基准测试中表现优异。文章还介绍了几何图神经网络(GNNs)的基本概念和刚性理论,并展示了EGENNET在化学属性预测任务中的应用前景。

原理

EGENNET架构基于简单的消息传递架构,使用多个等变通道,确保了旋转等变性特征。该架构通过一系列层传递向量特征,每层通过可学习的函数更新节点特征。关键在于,函数f(t)需要保持旋转等变性,从而确保网络对几何图的旋转和排列具有不变性。EGENNET通过这种等变性保证了在连接图上的通用分离能力,即使在稀疏图上也能有效工作。

流程

EGENNET的工作流程包括初始化节点特征为零,然后通过旋转和排列等变聚合公式更新这些特征。经过T次迭代后,通过旋转不变函数finv和多集READOUT函数获得旋转和排列不变的节点特征和全局特征。具体示例中,EGENNET能够区分具有相同边距但结构不同的几何图对,如Figure 1中的(A)和(B)。

应用

EGENNET在化学属性预测等任务中显示出巨大的应用潜力,特别是在处理分子和粒子系统等3D点云数据时。其理论保证和实验性能表明,EGENNET可以作为一种有效的工具,用于化学和物理动力学等领域的高级学习模型。