GNN如何建模时空信息？伦敦玛丽女王大学「时空图神经网络」综述，简明阐述时空图神经网络方法

---

  新智元报道  

作者：专知

编辑：好困

【新智元导读】图神经网络将深度学习模型扩展到非欧氏空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。

这些强大的算法在过去几年中获得了巨大的兴趣。然而，这种性能是基于静态图结构假设的，这限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。

近年来，各种时序图神经网络算法被提出，并在多个时间相关应用中取得了优于其他深度学习算法的性能。本综述讨论了与时空图神经网络相关的有趣主题，包括算法、应用和开放挑战。

论文地址：https:///abs/2301.10569

1. 引言

图神经网络(GNN)是一类深度学习模型，专门设计用于处理图结构数据。这些模型利用图拓扑来学习图的节点和边的有意义表示。图神经网络是传统卷积神经网络的扩展，在图分类、节点分类和链接预测等任务中被证明是有效的。GNNs的关键优势之一是，即使在基础图的规模增长时，它们也能保持良好的性能，这是因为可学习参数的数量独立于图中节点的数量。图神经网络(GNN)已被广泛应用于各种领域，如推荐系统、药物发现和生物学以及自治系统中的资源分配。然而，这些模型仅限于静态图数据，其中图结构是固定的。近年来，时变图数据引起了人们越来越多的关注，它出现在各种系统中并携带有价值的时间信息。时变图数据的应用包括多元时间序列数据、社交网络、视听系统等。

为了满足这一需求，出现了一种新的GNN族:时空GNN，通过学习图结构的时间表示，同时考虑了数据的空间和时间维度。本文对最先进的时空图神经网络进行了全面的回顾。本文首先简要概述不同类型的时空图神经网络及其基本假设。更详细地研究了时空GNN中使用的特定算法，同时也为这些模型的分组提供了有用的分类法。本文还概述了时空GNN的各种应用，强调了这些模型已被用于取得最先进结果的关键领域。最后，讨论了该领域面临的挑战和未来的研究方向。总之，本综述旨在对时空图神经网络进行全面和深入的研究，强调该领域的现状、仍然需要解决的关键挑战，以及这些模型令人兴奋的未来可能性。

2. 算法

时空图神经网络从算法角度可分为基于谱的和基于空间的两类。另一个分类类别是引入时变的方法:另一个机器学习算法或在图结构中定义时间。

2.1 混合时空图神经网络

混合时空图神经网络由两个主要组件组成:空间组件和时间组件。在混合时空图神经网络中，利用图神经网络算法对数据中的空间依赖关系进行建模。

2.2 Solo-Graph神经网络

在时空图神经网络中建模时间的另一种方法是在GNN本身中定义时间框架。提出了多种方法，包括:将时间定义为边，将时间作为信号输入到GNN，将时间建模为子图，以及将其他机器学习架构夹在GNN中(图2)。

3. 应用

3.1 多变量时间序列预测

受图神经网络处理关系依赖[10]能力的启发，时空图神经网络被广泛应用于多变量时间序列预测。应用包括流量预测，Covid预测，光伏电力消耗，RSU通信和地震应用。

3.2人物交互

在机器学习和计算机视觉中，时空域学习仍然是一个非常具有挑战性的问题。主要的挑战是如何在大的时空上下文[18]中建模对象和更高层次的概念之间的交互。在这样一个困难的学习任务中，有效地对空间关系、局部外观以及随着时间发生的复杂交互和变化进行建模是至关重要的。[18]引入了一种时空图神经网络模型，在空间和时间上循环，适合捕捉不断变化的世界场景[18]中不同实体和物体的局部外观和复杂的高层交互。

3.3 动态图表示

时序图表示学习一直被认为是图机器学习中一个非常重要的方面[15,31]。针对现有方法依赖时序图的离散快照而不能捕获强大表示的局限性，[3]提出了一种基于时空图神经网络的动态图表示学习方法。此外，[15]如今使用时空GNN动态表示脑图。多目标跟踪视频中的多目标跟踪严重依赖于对目标之间的时空交互进行建模[16]。[16]提出了一种时空图神经网络算法，对对象之间的空间和时间交互进行建模。

3.4 手语翻译

手语采用视觉-手动方式来传达含义，是聋人和重听群体的主要交流工具。为了缩小口语用户和手语用户之间的交流鸿沟，机器学习技术被引入其中。传统上，神经机器翻译被广泛采用，但需要更先进的方法来捕捉手语的空间属性。[13]提出了一种基于时空图神经网络的手语翻译系统，该系统在捕捉手语的时空结构方面具有强大的能力，与传统的神经机器翻译方法[13]相比，取得了最好的性能。

3.5 技术增长排名

了解技术的增长率是技术部门业务战略的核心关键。此外，预测技术的增长速度和相互之间的关系，有助于在产品定义、营销策略和研发方面的商业决策。[32]提出了一种基于时空图神经网络的社交网络技术增长排名预测方法。

4. 结论

图神经网络在过去几年中获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧氏空间。然而，图神经网络限于静态图结构假设，限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。本文对时空图神经网络进行了全面的概述。本文提出了一种分类法，基于时变方法将时空图神经网络分为两类。还讨论了时空图神经网络的广泛应用。最后，根据当前时空图神经网络面临的公开挑战，提出了未来的研究方向。

参考资料：

https:///abs/2301.10569