 谢谢作者分享和总结. 因为科研课题涉及到图注意力机制这块，读了不少图注意力模型相关的文章。其中《Attention Models in Graphs: A Survey》对图注意力机制进行了定义、分类、对比、展望，是一篇非常值得一读的好文。 文章信息： Lee J B , Rossi R A , Kim S , et al. Attention Models in Graphs: A Survey[J]. ACM Transactions on Knowledge Discovery from Data, 2019, 13(6):1-25. 文章链接： https:///pdf/1807.07984.pdf1  摘要 图结构数据自然地出现在许多不同的应用领域。通过将数据表示为图形，我们可以捕获实体（即节点）以及它们之间的关系（即边）。许多有用的见解可以从图结构数据中获得，这一点已被越来越多的专注于图挖掘的工作所证明。然而，在现实世界中，图形可能既大（有许多复杂的模式）又有噪声，这会给有效的图形挖掘带来问题。解决这个问题的一个有效方法是将“注意力”融入到图挖掘解决方案中。注意机制允许方法将注意力集中在图中与任务相关的部分，帮助它做出更好的决策。在这项工作中，我们对图形注意模型这一新兴领域的文献进行了全面而集中的综述。我们引入三种直观的分类法来对现有的工作进行分组。这些是基于问题设置（输入和输出的类型）、使用的注意机制的类型和任务（例如，图形分类、链接预测等）。我们通过详细的例子来激励我们的分类法，并使用每个例子从一个独特的角度来调查相互竞争的方法。最后，我们强调了该领域的若干挑战，并讨论了未来工作的前景。 图一为本文提出的图注意力模型分类：(a)根据问题设置的分类；(b)根据注意力机制的种类分类；(c)根据任务或解决问题的分类。 图一为本文提出的图注意力模型分类：(a)根据问题设置的分类；(b)根据注意力机制的种类分类；(c)根据任务或解决问题的分类。 文章架构 1简介 2问题描述 3基于注意力的 节点/边 embedding 4基于注意力的图embedding 5基于注意力的混合embedding 6图形注意机制的分类 学习Attention权重 基于相似性的Attention Attention guided walk 7图注意力任务 8讨论和挑战 作者对各种图注意力模型进行了定性和定量比较，从输入、输出、使用的机制、任务类型方面进行对比。如图2所示。 作者对各种图注意力模型进行了定性和定量比较，从输入、输出、使用的机制、任务类型方面进行对比。如图2所示。 图注意力机制的分类 一. 学习Attention权重 代表工作：GAT [Velickovic et al. 2018] 二. 基于相似性的Attention 代表工作：AGNN [Thekumparampil et al. 2018] 三. Attention-guided walk 代表工作：GAM [Lee et al. 2018] 图注意力任务 一. Node-level的任务 已经提出了许多工作来研究节点级任务的图形注意，其中最值得注意的是节点分类和链接预测[Abu El-Haija et al.2017；Feng et al.2016；Han et al.2018；Thekumparampil et al.2018；Velickovic et al.2018；Zhao et al.2017]。尽管每种方法的方法和假设不同，但它们有一个共同的技术，即学习一个注意力引导的节点或边缘嵌入，然后可以用来训练分类器进行分类或链接预测。不难看出这些方法是针对节点聚类的相关任务实现的。一些值得注意的基于注意的图方法尚未提出的节点级任务包括节点/边缘角色发现[Rossi and Ahmed 2015]和节点排名[Sun et al.2009a]。 二. Graph-level的任务 多个工作也研究了图级任务，如图分类和图回归。在此设置中，通过关注图的相关部分来构造注意引导图嵌入。EAGCN、改良GAT、GAM和偶极子等方法[Lee et al.2018；Ma et al.2017；Ryu et al.2018；Shang et al.2018]学习一种用于更标准的基于图的分类和回归任务的图嵌入。不难看出这些方法是如何应用于图相似性搜索的相关问题的[Zheng et al.2013]。另一方面，类似于[Bahdanau et al.2015；Luong et al.2015；Xu et al.2018；Zhou et al.2018]的工作从输入图形数据生成序列。值得注意的是，graph2seq提出了一种方法，该方法输出给定输入图的序列，而不是生成序列到序列的更多方法。最后，GRAM[Choi et al.2017]将注意力应用于医学本体图，以帮助学习基于注意力的医学代码嵌入。虽然他们研究的问题是对病历（由某些医学代码描述）进行分类的问题，但他们工作的新颖之处在于将注意力应用于本体图以提高模型性能。 结论 在本文中，我们对图形注意模型这一重要领域的文献进行了全面而集中的综述。据我们所知，这是第一个这样的工作。我们引入了三种直观的分类法来对现有的工作进行分组。这些都是基于问题设置、使用的注意机制类型和任务。我们通过详细的例子来激励我们的分类法，并从分类法独特的观点出发，使用每个例子来调查相互竞争的方法。我们还强调了该领域的若干挑战，并就今后工作的可能方向进行了讨论。 
|
|
|
