【原】【机器学习】利用图网络小数据学习进行性质预测

今天要介绍的文章是美国圣母大学Nitesh V. Chawla课题组在WWW’21会议上发表的文章“Few-Shot Graph Learning for Molecular Property Prediction”。文章提出Meta-MGNN，利用图网络和元学习对于小数据进行分子性质预测。

——背景——

目前深度学习等方法在药物发现中得到了广泛地应用，但是小数据问题仍是一大挑战。小样本学习中常用的方法有迁移学习、元学习、度量学习等，Meta-MGNN就是利用元学习方法以及自监督模块、自注意力机制等对小数据进行性质预测。

——方法——

Meta-GNN使用GIN作为基本图网络模型进行特征抽取，并使用PreGNN进行预训练，其中节点属性包括原子类型和手性，边的属性包括键的类型和键的方向（表1）。Meta-GNN使用元学习MAML作为基本框架，目的是学习得到对于不同任务具有良好特性的初始化参数。Meta-GNN在meta-training阶段对于每一个任务都在support set上训练得到，并在query set上测试得到，利用梯度下降来对进行优化。在meta-testing阶段，模型利用优化过后的初始化参数对新的任务的support set进行学习，最后在query set上测试（图1a）。为了增强模型对于分子图中的无监督信息的学习，文章加入了自监督模块，在误差函数中增加了键重建误差和原子类型预测误差（图1b）。此外，文中还加入了自注意力机制，对不同的任务赋以不同的权重(图1c)。文章使用的数据集是Tox21和Sider，其中分别取了3个任务和6个任务用于meta-testing阶段。

表1 原子和键的特征

图1 a) Meta-GNN工作流程 b) 自监督模块c) 任务注意力机制

——结果——

文章首先将Meta-MGNN与baseline模型GraphSAGE、GCN、MAML、Seq3seq、EGNN、PreGNN进行比较，具体结果见表2。对于单样本学习（one-shot learning），Meta-MGNN在Tox21和Sider上的平均提升分别是1.04%和1.80%，而对于5个样本学习（5-shot learnng）, Meta-MGNN在Tox21和Sider上平均提升为0.84%和1.87%，并且Meta-MGNN的表现在各个任务中更加稳定。

表2 Meta-MGNN与其它baseline模型在Tox21和Sider上的表现

为了进一步分析Meta-MGNN的结构，文章进行了逐一消融实验，构建不同的模型（表3）。其中分别是经过预训练的图网络模型M1，未经过预训练的图网络模型M2，经过预训练并利用了元学习算法的模型M3，在M3基础上增加了键重建误差的M4，在M3基础上增加了原子类型预测误差M5，在M3基础上二者都添加的M6，在M3基础上加入了任务注意力机制的M7，以及增加了所有的自监督模块和自注意力模块的M8，具体结果见图2.

表3 消融实验每个模型的具体配置

PTM(pre-trained model), ML(meta-learning), BR(bond reconstruction), AP(atom-type prediction), T-At(task-aware attention)

图2 消融实验的结果

根据结果可以发现，其中预训练对于模型结果影响最明显。通过M3和M2、M1的比较，可以发现，元学习的加入能够更好的提升模型在小数据集上的表现。而自监督策略和任务注意力机制均可以提升模型性能，但是对于不同的任务表现并不相同。

最后文章对SR-MMP数据进行Embedding可视化（图3），可以看到Meta-MGNN能够更好地将正负样本进行划分。

图3 Meta-GNN、PreGNN、MAML在SR-MMP上生成的embedding可视化

——小结——

Meta-MGNN通过元学习策略来对小样本进行学习，并提出了自监督和任务注意力机制增强模型表现，得到了一定的提升效果。但是文章整体分析比较浅显，Meta-GNN的提升效果也并不是很显著，仍需要进一步完善，例如增加更多的数据集，以及与其它的小样本学习方法在分子预测任务上的表现比较等。目前小样本问题在药物发现领域中的研究仍相对比较少，需要更进一步的探究。

参考文献：

Guo, Zhichun, et al. "Few-Shot Graph Learning for Molecular Property Prediction." Proceedings of the Web Conference 2021. 2021.