摘要

本文介绍了一种名为Graph-Rewiring Attention with Stochastic Structures (GRASS)的新型图神经网络架构，该架构结合了消息传递、图重构和图变换器的优势。GRASS通过叠加一个随机规则图来重构输入图，增强了长距离信息传播，同时保留了输入图的结构特征。此外，GRASS采用了一种专为图结构数据设计的独特加性注意力机制，提供了图归纳偏置，同时保持了计算效率。实验证明，GRASS在多个基准数据集上达到了最先进的性能，确认了其实际效能。

原理

GRASS的核心创新在于其图重构和注意力机制。图重构部分通过在输入图上叠加一个随机规则图来实现，这种方法不仅增强了图的连通性，还通过减少图的直径和增加内部不相交路径的数量来缓解信息压缩问题。注意力机制部分则采用了一种加性注意力机制，这种机制通过边缘表示来计算注意力权重，更适合图结构数据，因为它能够更好地捕捉节点间的关系。此外，GRASS还引入了DropKey技术，这是一种在图注意力中有效的正则化方法，可以减少对图中特定边缘的依赖，从而提高模型对结构噪声的鲁棒性。

流程

GRASS的工作流程包括预计算、随机重构、节点和边缘编码、注意力层处理以及图池化。在预计算阶段，模型计算每个图的度矩阵和随机游走概率。在每个训练迭代中，GRASS随机重构输入图，应用节点和边缘编码，并通过多个注意力层传递图，生成具有相同结构的输出图。对于图回归或分类任务，应用图池化以获得每个图的单一输出向量。具体来说，注意力层中的节点聚合是基于注意力的，注意力权重由边缘表示导出，而边缘聚合则通过前馈神经网络（FFN）完成。

应用

GRASS的设计使其在处理复杂关系数据时表现出色，特别是在需要长距离信息传播和高效计算的场景中。其应用前景广泛，包括但不限于化学分子分析、社交网络分析、生物信息学中的蛋白质相互作用网络分析等。由于其高效的计算性能和强大的信息处理能力，GRASS有望在未来的图数据处理任务中发挥重要作用。