[发明专利]一种基于注意力机制的层级图表征学习方法及装置

权利要求书

1.一种基于注意力机制的层级图表征学习方法，其特征在于，对第l层的学习节点，所述方法包括下述步骤：

S100、基于节点的输入特征和邻接矩阵，进行卷积运算，得到节点的嵌入特征矩阵；

S200、利用硬聚类分配矩阵，将节点分配到相应的簇中，并结合节点的嵌入特征矩阵，获取同一簇中节点的嵌入特征矩阵；

S300、基于注意力机制，对每一簇中节点进行重要性系数计算；

S400、基于重要性系数聚合同一簇中节点特征，从而得到第l+1层的节点。

2.根据权利要求1所述的学习方法，其特征在于，所述硬聚类分配矩阵通过下式计算：

s^(l)＝softmax(GNN_l，pool(A^(l)，X^(l)))；

式中：

s^(l)为第l层的软聚类分配矩阵，为n_l×n_l+1矩阵空间，n_l为第l层的节点数，n_l+1为第l+1层的节点数，HS^(l)为第l层的硬聚类分配矩阵，X^(l)为第l层输入节点的节点特征，A^(l)为第l层输入节点的邻接矩阵，GNN_l，pool为第l层中学习簇分类的图神经网络模型，softmax为求软聚类分配矩阵；onehot将软聚类矩阵s^(l)中每一行的最大值设置为1，行内其它值设置为0，生成独热矩阵。

3.根据权利要求1所述的学习方法，其特征在于，所述S300包括下述步骤：

S301、按照下式计算第l层第u个簇内节点的注意力矩阵该矩阵的大小记作n₀×n₀，矩阵中的元素为第l层第u个簇中n₀个节点之间的关系；

式中：表示实数域R上n₀×n₀矩阵空间，d为每个节点特征维度，d_k为设定的整数，为第u簇节点的嵌入特征矩阵；W^Q和W^K为d×d_k权重矩阵，矩阵中元素的初始值为随机值，取值范围为(0，1)；

S302、按照下式计算簇内节点的重要性系数矩阵：

式中：

I是和司样维度的单位矩阵，代表选择对角线的值，softmax表示对第l层的n₀个节点进行软聚类分配，表示实数域R上n₀×1矩阵空间。

4.根据权利要求1所述的学习方法，其特征在于，所述第l+1层的节点通过下式进行计算：

S401、生成第l+1层节点的输入特征和邻接矩阵：

式中：

X^(l+1)为第l+1层节点的输入特征矩阵，A^(l+1)为第l+1层节点的邻接矩阵，A^(l)为第l层节点的邻接矩阵，CONCAT为将其矩阵变量按行进行拼接函数，HS^(l)为第l层的硬聚类分配矩阵，为第u个簇内节点的重要性系数矩阵，为第u簇节点的嵌入特征矩阵，表示实数域R上n_l+1×d矩阵空间，表示实数域R上n_l+1×n_l+1矩阵空间。

5.根据权利要求1所述的学习方法，其特征在于，所述S200包括下述步骤：

S201、获取第l层的硬聚类矩阵HS^(l)的第u列，记录该列中数值为1的元素所在的行标；

S202、从第l层的嵌入特征矩阵中找到记录的行标，依次获取行标所在的行向量构成该嵌入特征矩阵的子矩阵，该子矩阵为第u簇节点的嵌入特征矩阵；

其中，硬聚类矩阵HS^(l)的列数与分成簇的数量相同。