[发明专利]一种基于多头注意力机制的半监督卷积网络嵌入方法

权利要求书

1.一种基于多头注意力机制的半监督卷积网络嵌入方法，包括顺序执行的下列步骤：

步骤1，输入节点文本内容，使用词向量查询的方法初始化每个词的语义表示；

步骤2，构造节点文本编码器，所述节点文本编码器包括位置编码器、多头注意力机制和前馈神经网络位置编码器，节点文本编码器的输出为节点的文本向量表示，其输出为u_T；

步骤3，构造节点结构编码器，使用多层图卷积神经网络编码网络结构信息；

步骤4，在半监督学习的框架下，将带标签节点的标签信息引入网络嵌入，将标签匹配损失与相似度损失联合优化得到最终的节点表示向量u_R。

2.根据权利要求1所述的半监督卷积网络嵌入方法，其特征在于：

步骤1中所述的节点文本，其中节点u的文本信息表示为如下形式：

T_u＝(x_u1,x_u2,…,x_um) (1)

式中：x_ui为第i个词，以随机初始化的d维词向量表示，i＝1-m，m为文本长度。

3.根据权利要求2所述的半监督卷积网络嵌入方法，其特征在于：步骤2中，所述位置编码器位于所述节点文本编码器的底部，用于编码单词的相对位置信息，所述位置编码器形式如下：

P_u＝(p_u1,p_u2,…,p_um) (2)

其中p_ui∈R^m是独热向量，将所述将位置编码器与词向量矩阵进行拼接，得到多头注意力机制的输入，该输入包含词的相对位置关系：其中：表示拼接操作，x_ui表示节点u第i个词的词向量。

4.根据权利要求3所述的半监督卷积网络嵌入方法，其特征在于：步骤2中，所述多头注意力机制用于使模型具备联合处理来自不同表示空间信息的能力，在第i个头，基于所述e_u得到三个向量和

其中和是三个全局的参数矩阵，d_m表示第i个头的输入维度，d_m＝d+m＝512；以h表示多头注意力机制中头的个数，则d_k＝d_v＝d_m/h；R代表数域，表示形状为dm*dk的矩阵。对于第i个头的注意力值，使用如下公式计算：

将多头注意力机制中所有头的输出拼接成一个向量，之后乘以权重矩阵W^o，得到多头注意力机制的输出结果，如下式：

其中为一可训练的权重矩阵。

5.根据权利要求4所述的半监督卷积网络嵌入方法，其特征在于：所述节点文本编码器的每一层均包含一个全连接的前馈神经网络FFN，所述前馈神经网络由两个使用ReLU的线性变换组成，如下所示：

其中，和是节点文本编码器第n层的前馈神经网络的可训练权重与偏差。

6.根据权利要求5所述的半监督卷积网络嵌入方法，其特征在于：步骤3中，所述节点结构编码器使用多层图卷积神经网络编码网络结构信息，同时，节点结构编码器以节点文本信息编码器的输出作为节点结构信息编码器的输入，以此实现节点文本信息与网络结构信息的融合。