NeurIPS2020 | 用于半监督学习的图随机神经网络

点击上方 关注我们

现有的GNN存在过平滑，欠鲁棒和过拟合的问题。

过平滑：图卷积网络可以看作是一种拉普拉斯平滑，进行多次的平滑之后，节点变得不可分；

欠鲁棒：GNN的消息传递会特别依赖于某些特定的节点，这导致模型的鲁棒性差；

过拟合：GNN模型一般是在半监督学习下提出的，训练的模型容易对这些少量的数据过拟合。

用于半监督学习的图随机神经网

本文提出了一个简单而有效的框架-图随机神经网络（GRAND）来解决这些问题。在GRAND中首先设计一种随机传播策略来执行图数据扩充。

具体来说是：先随机丢弃一些节点的属性对节点特征做一个随机扰动，然后对扰动后的节点特征做一个高阶传播。这样一来，每个节点的特征就会随机地与其高阶邻居的特征进交互，这种策略会降低节点对某些特定节点的依赖，提升模型的鲁棒性。

作者称这种方法相当于是一种数据的扩充和增强，然后，采用多个branch进行随机的增强，利用一致性正则化来优化不同数据扩充的未标记节点的预测一致性。小的细节：每次训练时进行多次 Random Propagation 生成多个不同的节点增强表示，然后将这些增强表示输入到一个 MLP 中，除了优化交叉熵损失之外，我们还会去优化 MLP 模型对多个数据增强产生预测结果的一致性

在图基准数据集上进行的大量实验表明，在半监督节点分类中，GRAND的性能明显优于最新的GNN基线。最后，论文证明GRAND减轻了过度平滑和不鲁棒的问题，与现有GNN相比，表现出更好的泛化行为。 代码已经公开，相关的信息如下

论文名称及相关内容

Graph Random Neural Network for Semi-Supervised Learning on Graphs

https:///abs/2005.11079

https://github.com/THUDM/GRAND

这项研究被收入为 NeurIPS 2020 的 Oral paper (105/9454)