[发明专利]基于Transformer的图卷积网络的引文网络分类模型建立及分类

说明书

本发明公开了一种基于Transformer的图卷积网络的引文网络分类模型建立方法，首先获取引文网络数据，引文网络数据包括确定节点的主体身份(论文、作者)，收集结点的语料特征，确定节点的标签，确定节点间的关系，然后建立基于Transformer的图卷积网络模型，包括一个K层的简化图卷积网络模块，一个经过改造的Transformer编码器；然后利用简化图卷积网络对所有节点进行特征的卷积传播，利用Transformer编码器对训练集的所有节点的每层特征学习一个全局特征用以分类，最后利用训练好的Transformer编码器对测试结点进行分类。

技术领域

本发明属于人工智能技术领域，具体涉及一种基于Transformer的图卷积网络的引文网络分类模型建立及分类方法。

背景技术

卷积神经网络(CNN)在计算机视觉中已经获得了广泛的应用，取得了非常出色的表现，尤其是图像这种欧式特征的数据，CNN中的卷积层通过学习多种不同的局部滤波器，通过滤波方式来对图像进行高层特征的提取。那么如何在图这种关系结构的数据上进行有效地特征提取就显得十分重要，类比图像上的卷积操作以及图信号处理，有了两种对图卷积的定义。一种是定义在频谱域的，例如ChebNet、GCN、SGC。另外一种是定义在空间域的，例如GarphSage、GAT。

图卷积操作的实质上是在图上进行特征平滑，根据图的结构信息，将邻近节点的特征尽可能地向同一方向平滑，所以随着图卷积网络的层数加深，所有节点的特征都会趋同，所以这就导致了目前大部分图卷积网络只能进行浅层学习，无法进行深层学习，但是如果只进行浅层学习，节点的特征不足以充分扩散到全图，无法充分利用整张图的结构信息。

发明内容

为了解决有技术中对卷积网络不能进行深层学习的技术问题，本发明的目的在于，提供一种基于Transformer的图卷积网络的引文网络分类模型建立及分类方法。

为了实现上述任务，本发明采用如下的技术解决方案：

一种基于Transformer的图卷积网络的引文网络分类模型建立方法，其特征在于，包括如下步骤：

步骤1：获取引文网络数据

引文网络数据包括确定节点的主体身份(论文、作者)，收集结点的语料特征，确定节点的标签，确定节点间的关系。最终建立节点的特征矩阵X，节点的标签矩阵Y，以及节点关系图的邻接矩阵G，同时将数据分为训练集、验证集、测试集；

步骤2：建立基于Transformer的图卷积网络模型

所建立的基于Transformer的图卷积网络模型包括一个K层的简化图卷积网络模块，一个经过改造的Transformer编码器；然后利用简化图卷积网络对所有节点进行特征的卷积传播，利用Transformer编码器对训练集的所有节点的每层特征学习一个全局特征用以分类，最后利用训练好的Transformer编码器对测试结点进行分类；

其中，所述的基于Transformer的图卷积网络模型的训练模型包括如下子步骤：

步骤2.1：计算卷积传播矩阵S：

将简化图卷积网络对图上卷积的定义如式1所示：

式中,g_θ'是一个卷积滤波器，X是输入图信号即节点特征，θ是可学习参数矩阵，是归一化图拉普拉斯矩阵，是的度矩阵，S是规范化图邻接矩阵；

考虑将其拓展为多层结构，且不使用非线性变换，则多层的卷积传播可表示为F＝S…SXθ₁…θ_K，然后，仅在卷积层进行特征提取，并不需要在每层进行训练学习参数，进一步假定θ₁＝…＝θ_K＝1，即