[发明专利]一种基于多头注意力机制的半监督卷积网络嵌入方法

说明书

本发明公开了一种基于多头注意力机制的半监督卷积网络嵌入方法，包括：步骤1，输入节点文本内容，使用词向量查询的方法初始化每个词的语义表示；步骤2，构造节点文本编码器，所述节点文本编码器包括位置编码器、多头注意力机制和前馈神经网络位置编码器，节点文本编码器的输出为节点的文本向量表示，其输出为u_T；步骤3，构造节点结构编码器，使用多层图卷积神经网络编码网络结构信息；步骤4，在半监督学习的框架下，将带标签节点的标签信息引入网络嵌入，将标签匹配损失与相似度损失联合优化得到最终的节点表示向量u_R。该方法能更好地捕捉和融合网络的结构信息和外部信息。

技术领域

本发明涉及一种基于多头注意力机制的半监督卷积网络嵌入方法。

背景技术

随着信息技术的发展，互联网中积累了大量网络结构的数据。对这些网络结构数据的分析对各行业的发展具有重要意义，对网络的研究已成为重要的热点问题。网络嵌入已经成为网络分析的一种范式，引起了研究者的广泛关注。其目的是综合利用网络中的特征信息，将网络中的每个节点映射到一个低维向量空间，得到节点的低维向量表示。在得到网络节点的表示向量后，可将其输入已有的算法来完成节点分类、聚类、链接预测等下游任务。例如对城市间交通网络进行链接预测分析，可用于规划城际交通线路。另外，网络结构数据往往具有大量外部信息，例如节点的文本信息与节点标签信息。目前也存在许多融合文本信息的网络嵌入方法，但这些方法一般对文本信息与网络结构信息分别建模，最终简单地拼接两个表示向量得到最终的表示，这导致两种模态的信息难以有机地整合。此外，这些方法使用循环神经网络作为编码器。但是，循环神经网络本身的序列依赖导致其无法实现大规模并行计算。节点标签是另一个重要的外部信息，充分利用标签信息将进一步增强节点向量的表示能力。但现实中，并非所有网络节点都被标记，合理利用标记节点和未标记节点对网络嵌入过程具有重要意义。

网络嵌入是一种新兴的网络分析范式，其目标是学习低维节点表示。传统的网络嵌入算法通常将网络表示为图，并使用数据点的特征向量构建关联图，例如数据的k近邻图。由此，利用关联图可以将数据点嵌入到低维空间中，得到节点的向量表示。基于该思想，大量的网络嵌入方法被提出。然而，这些算法通常依赖于求解邻接矩阵的特征向量，其复杂度至少是节点数的平方，由此导致效率低下，并且难以应用于大规模网络。