[发明专利]一种基于注意力机制的层级图表征学习方法及装置

说明书

本发明涉及一种基于注意力机制的层级图表征学习方法，着重于层级图表征学习，在学习特征时将有关联的节点聚类在一起，能够做到对层级节点特征进行充分表达，提高图分类任务的性能。在学习节点进行硬聚类分配，保留层级学习时节点特征的完整性，以便在模型学习时起到更好的作用。将注意力机制应用于层级图表示学习当中，可以使层级学习生成的簇中各节点根据其自身重要性进行聚合，学习到簇中节点自身相对于其他节点的作用，可以使每个节点特征根据其重要性进行充分表达。本发明还基于方法实现了相应的装置。

技术领域

本公开涉及人工智能技术领域，具体涉及一种基于注意力机制的层级图表征学习方法及装置。

背景技术

过去几年里，将图结构与神经网络算法结合成为了越来越多的学者们关注的问题，从而涌现出了一批极具创新性的方法，它们既保留了图强大的结构化表达能力，又能提升研究任务的性能。这类方法的核心是将图结构嵌入到向量空间中，以向量化的数据表示图数据的结构化信息，这个过程被称为图表征学习。图表征学习的深度学习方法称为图神经网络(GNN)，它能够直接将图结构的邻接矩阵和节点属性作为输入，输出图结构或节点的向量表示。这样有效学习节点嵌入的方式彻底改变了图表征学习领域，并在图分类、节点分类和链接预测等任务中取得了优秀的成果。

主流层级图表示学习方法DIFFPool模型主要存在以下两方面问题。一方面，将节点特征进行软聚类分配，即根据概率将节点分配到所有簇中，对于每个簇来说削弱了属于该簇节点的完整性，这种发散性的分配对于每个节点来说也模糊了它们在层级图学习过程中的作用，这样的层级学习方法缺乏合理解释性。两一方面，当节点软聚类分配后，DIFFPool仅仅是将每个簇的特征进行简单加权聚合来生成下一层的输入特征。分配矩阵S不能直接体现簇中每一个节点对其他节点的作用，前一步已经将每个簇中特征的表现能力削弱了，简单求和更是忽略了每个特征在簇中不同的重要性。使得在DIFFPool过程中，每一层的嵌入特征进行学习时其每个节点的表现能力都有一定程度上的下降，不利于后续对整个图分类标签的学习。

发明内容

有鉴于此，本申请的主要目的在于提供一种基于注意力机制方法及装置，用于接近DIFFPool(Differentiable Pooling)存在的问题。

一方面，本发明公开了一种基于注意力机制的层级图表征学习方法，对第l层的学习节点，所述方法包括下述步骤：

S100、基于节点的输入特征和邻接矩阵，进行卷积运算，得到节点的嵌入特征矩阵；

S200、利用硬聚类分配矩阵，将节点分配到相应的簇中，并结合节点的嵌入特征矩阵，获取同一簇中节点的嵌入特征矩阵；

S300、基于注意力机制，对每一簇中节点进行重要性系数计算；

S400、基于重要性系数聚合同一簇中节点特征，从而得到第l+1层的节点。

优选地，在所述方法中，所述硬聚类分配矩阵通过下式计算：

s^(l)＝softmax(GNN_l，pool(A^(l)，X^(l)))；

式中：