 背景 图卷积神经网络（GCN）已被反复证明具有对小分子等图数据建模的强大能力。消息传递神经网络（MPNN）是一组GCN变体，可以通过迭代消息传递迭代来学习和聚合分子的局部信息，在分子建模和性质预测方面取得了进展。此外，考虑到Transformers在多个人工智能领域的优点，将自注意机制与MPNN相结合，可以获得更好的分子表征。 方法  给定的网络以SMILES为输入，并生成原子特征、键特征、三个原子间矩阵和分子描述符作为分子的局部和全局编码。首先通过消息传递层中的化学键注意块和化学键更新函数来学习化学键特征矩阵。在消息传递阶段之后，通过对传入的键隐藏状态求和，然后连接原子特征矩阵和多头原子注意力块来获得原子表征。在原子注意力块中，三个缩放的原子间矩阵被单独添加到每个注意力头的权重，作为偏置项。最后，将学习到的原子隐藏态聚合到分子向量中，与分子描述符连接，然后进入前馈层进行性质预测。 更具体地说，由SMILES表征的分子首先被输入到特征工程步骤中，并且生成节点特征和键特征，其中大多数是独热编码的。此外，还生成了原子间邻接矩阵和包含分子描述符的特征向量。由于隐藏状态在消息传递（化学键嵌入）阶段是以定向方式传输的，因此每个化学键都用两个特征向量初始化，表示两个相反方向上的化学键消息。在键嵌入阶段之前，对化学键的隐藏状态进行初始化。 在每个消息通过迭代时，每个化学键消息首先通过对来自上一次迭代的所有传入的相邻隐藏状态求和来更新，但表征其自身方向相反的隐藏状态除外。接下来，增加了对化学键消息的多头自注意力，并通过跳过连接将输入的化学键消息添加到化学键注意输出中。具体地说，为了产生每个化学键的注意力，化学键注意力块接收来自上一次消息传递迭代的所有化学键消息作为输入。通过隐藏权重矩阵投影所获得的化学键注意力消息，将其与原始化学键隐藏状态连接，然后将其输入到激活函数中，以生成用于以下消息传递迭代的隐藏状态。 在遍历所有消息传递层之后，通过聚合源自每个原子的所有相邻键隐藏态并将它们与原子特征连接，然后通过权重矩阵和ReLu激活对其进行转换，来获得每个原子的消息。在这里，作者进一步实现了一个原子级Transformer块，该块由三个原子化矩阵和从输入的跳过连接辅助，以生成原子的隐藏状态。在分子嵌入阶段，分子的所有学习到的原子隐藏态被加在一起作为单个表征。模型的最终输出由两层前馈神经网络（FFN）返回，该网络由学习的表征和计算的分子描述符的级联提供。 作者采用了一种高效的Transformer架构，即Fastformer，以减轻Transformer网络中的二次计算复杂性。通常，Fastformer不是通过矩阵的点积来建模每对单元之间的交互，而是使用加性注意力来建模全局上下文，并通过其与全局上下文的交互来转换每个令牌表征。由于MPNN框架包含T个消息传递迭代，在每个消息传递层中添加Transformer架构在计算上是昂贵的，尤其是对于包含许多层来训练大分子的架构。为此，作者在模型中采用Fastformer作为注意力的构建块。化学键注意力块包含6个注意力头，并将化学键消息作为输入。 给定一个具有N个键的分子，查询、键和值矩阵被设置为等于输入键消息矩阵。首先，通过加性注意力获得全局键查询，其中计算每个键向量的加性注意力权重，乘以其对应的键查询向量并汇总在一起。接下来，全局键查询和键关键向量之间的交互通过元素乘积来实现。类似地，全局键密钥是通过进行加性注意来获得的，并用于通过元素乘积来转换键值向量。最后，投影得到的键值交互向量，通过跳跃连接与化学键查询相加，然后通过层归一化进行归一化，以生成最终的化学键注意力输出。 在原子嵌入阶段，作者进一步在聚集的原子向量上构建了一个多头部自关注层，使模型能够更加关注与目标财产最相关的原子或局部环境。作者没有使用加法注意力，而是选择使用缩放点积注意力的原始Transformer网络作为原子注意力的构建块。这种选择的动机主要是由于封装了额外的功能。具体来说，由于体系结构的限制，大多数基于图形的网络仅在分子图上运行，其中原子或键嵌入了包含相应化学财产的特征向量。通过在原子上包含缩放的点积注意力，本文的模型可以包含额外的图级特征，这些特征包含关于原子对之间的空间和静电关系的信息，从而在建模过程中从分子拓扑结构提供更全面的视角。 具有6个注意力头的原子注意力层将聚合的原子消息作为输入。对于每个注意力头部，一种类型的附加原子间特征矩阵被添加到查询关键字交互矩阵中作为偏置项。具体而言，head1和head2以分子的邻接矩阵作为输入，将分子的连通性信息合并到模型中。head3和head4包括从RDKit生成的构象异构体到注意力权重的原子对的拓扑距离。head5和head6封装了库仑矩阵，库仑矩阵描述了模型中原子之间的静电相互作用。在将特征矩阵导入模型之前，通过Z分数归一化对特征矩阵进行归一化，并通过该架构中使用的超参数进行缩放。 结果 如表1所示，ABT-MPNN在10个分类（指标越高越好）和回归（指标越低越好）任务中的9个任务上获得了最先进的结果，显示了该模型学习的分子表征的稳健性。与D-MPNN相比，在多个数据集上的卓越性能进一步支持了用化学键和原子级注意力补充定向消息传递方案的有效性。 表1 ABT-MPNN与其他方法对比   总结 在这项研究中，作者提出了一种新的消息传递框架，称为ABT-MPNN，它分别在键和原子水平上结合了加性注意力和标度点积注意力。为了将分子的拓扑和静电信息纳入模型，作者进一步设计了一个特征工程方案，该方案嵌入了从每个原子注意力头的分子构象导出的邻接矩阵、距离矩阵和库仑矩阵。 总体而言，作者提出的模型在广泛的分子数据集上始终优于或可与最先进的基线模型相媲美。作者在原子级别引入注意力方案，通过预测概率图实现了模型的可视化模式。通过对三种结核分枝杆菌抑制剂的演示，作者强调了在分子表征学习过程中自注意力对化学亚结构和官能团的影响，这不仅增加了MPNN的可解释性，而且是研究作用机制的一种有价值的方法。 参考文献 |
|
|
