[发明专利]基于具有自注意力机制的图卷积神经网络文本分类方法

权利要求书

1.一种基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：包括以下步骤：

步骤1：获取多个待分类的文本存储到语料库中，同时对待分类的文本进行分词处理获得文本分词序列；并对文本分词序列的无效词或者停止词进行过滤处理；

步骤2：获取过滤处理后的文本分词序列的嵌入矩阵，使用自注意力机制得到文本分词序列的自注意力机制矩阵；

步骤3：对语料库中所有文本构建图网络结构；针对一个文本，构建一个具有n个节点、e条边的图网络结构，文本中的词作为图的节点，与一个节点最相似的若干词作为该词的邻居节点，并计算两个词向量的余弦相似度；

步骤4：对图网络结构进行预处理，计算图的Laplacian矩阵并进行归一化；步骤5：构建和训练图卷积神经网络模型；

步骤5.1：在图的Laplacian矩阵基础上，计算图傅里叶变换，实现图卷积滤波；

步骤5.2：构建图卷积层，并得到简化后的图卷积；步骤5.3：构建图的池化层和全连接层；步骤6：通过Softmax分类器，得到文本分类结果；

将图卷积神经网络模型全连接层的输出作为Softmax分类器的输入，对Softmax分类器输出的所有值计算Softmax函数值，并选取最大值作为文本的类别。

2.根据权利要求1所述的基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：所述步骤2的具体方法为：

对步骤1中得到的预处理后的文本分词序列进行编码，建立文本词向量，将文本词向量输入到自注意力机制中，得到自注意力机制词向量，并计算各自注意力机制词向量的权重；

根据自注意力机制的查询Query与地址Key，计算各自注意力机制词向量与其邻居自注意力机制词向量之间的相似度，相似度计算函数为Sim_i(Query,Key)＝Query_i·Key_i，其中，Query_i，Key_i分别为第i个自注意力机制词向量的查询和地址；然后使用Softmax函数对各自注意力机制词向量进行归一化处理得到各自注意力机制词向量的概率分布，其中，α_i为各自注意力机制词向量的概率分布密度，L_x＝||Source||表示文本分词序列的长度，Source表示文本分词序列；对各自注意力机制词向量的Value值进行加权求和，求和通过以下公式来计算：

其中，SAT(Query,Source)表示对自注意力机制词向量的Value值加权求和的结果值；

对加权求和后的自注意力机制词向量，采用随机初始化的词嵌入模型映射获得文本分词序列的嵌入矩阵，并对词嵌入矩阵的各行向量根据对应词的位置进行编码，然后将编码后的嵌入矩阵通过自注意力机制生成文本分词序列的自注意力机制矩阵A＝{a₁,a₂,...,a_m}^T，其中，向量a_i为第i个词的自注意力机制词向量，其包含有词本身和词与词序列中其它词的关联信息；最后，对文本分词序列的自注意力机制矩阵进行降维和融合处理。

3.根据权利要求2所述的基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：所述步骤3的具体方法为：

构建图G，文本词构建图中的节点n，并在两个节点之间建立一条边，节点共现次数表示为节点边的权重W，若两个节点之间没有数据关联，则不构建边；在图G中，与节点n相连的节点在图G中所有节点的占比为Pe(n,G)，通过公式来计算其中，P(n,G)表示在图G中与节点n相连接的节点的个数，N_G表示图G中节点总数。