[发明专利]基于注意力的宽度图卷积神经网络模型系统及训练方法

说明书

本发明提供了一种基于注意力的宽度图卷积神经网络模型及其训练方法，所述模型依次包括输入层、注意力高阶图卷积层、融合多阶邻域信息的SP信息融合池化层和softmax函数多分类输出层，所述模型对应的训练方法为先预处理得到预处理特征后，将其输入模型训练的高效训练方法。本实施例采用注意力高阶图卷积层增加模型宽度、降低模型深度、减少参数量和复杂度的同时，还能聚集更丰富的节点信息、赋予自身节点更高权重，及区分不同邻域节点的分类贡献度，进而在扩宽模型感受野、避免过拟合风险的同时，使得模型的构建和应用更贴合实际，进一步提升模型的学习能力、稳定性和分类精度。

技术领域

本发明涉及图像处理及深度学习技术领域，特别是涉及一种基于注意力的宽度图卷积神经网络模型及其训练方法。

背景技术

随着图卷积神经网络机器学习研究地不断加深，能够聚集更丰富节点信息且能扩宽模型感受野、提升分类表现的高阶图卷积网络模型和高低阶图卷积网络模型先后被不同的研究者提出。现有的高阶图卷积网络模型和高低阶图卷积网络模型的分类表现在一定程度上都达到了研究者的预期，但它们仍有不足之处：高阶图卷积网络模型设计了一种包括一阶图卷积到P阶图卷积，不同阶卷积使用不同权重参数，利用两个高阶图卷积层学习高阶节点之间的关系和聚集不同距离邻域节点信息的高阶图卷积，且在每个高阶图卷积聚集了不同距离的邻域信息后，利用列连接将这些邻域信息进行拼接，最后通过一个全连接层融合这些邻域信息的网络架构，由于其采用不同阶卷积不同的权重参数、堆叠多个高阶图卷积层，及全连接融合不同距离邻域信息的技术必要会造成复杂度增大，参数量成倍增加，进而增加了过拟合风险；虽然高低阶图卷积网络模型采用权重共享机制一定程度上较少了参数量，但其同样堆叠了多层高低阶图卷积层使得模型的参数量和复杂度并没有显著减少，同样不能避免过拟合风险。此外，高阶图卷积网络模型和高低阶图卷积网络模型都未对不同距离邻域节点对于分类预测的重要性加以区分，而是同等重要的考虑不同距离邻域节点的贡献度，与现实信息有一定的偏差，一定程度上会影响分类预测的效果。

因此，如何基于现有高阶图卷积网络和高低阶图卷积网络的研究，区分不同距离邻域节点对分类预测的重要性，在保证现有模型的分类表现、减少计算复杂度和参数量及避免过拟合风险的基础上，使得模型的构建和应用更贴近现实是非常有意义的。

发明内容

本发明的目的是减少现有高阶图卷积网络和高低阶图卷积网络的计算复杂度和参数量，避免过拟合风险的同时，区分不同距离邻域节点对于预测任务的重要性，使得模型的构建和应用更贴近现实，进而提高分类表现。

为了实现上述目的，有必要针对上述技术问题，提供了一种基于注意力的宽度图卷积神经网络模型及其训练方法。

第一方面，本发明实施例提供了一种基于注意力的宽度图卷积神经网络模型，所述宽度图卷积神经网络模型模型依次包括、注意力高阶图卷积层、信息融合池化层和输出层；

所述输入层，用于接收训练数据集的图特征；

所述注意力高阶图卷积层，用于根据所述图特征进行零阶到k阶的注意力图卷积运算，得到图卷积数据；

所述信息融合池化层，用于根据所述图卷积数据进行零阶到k阶的特征融合，得到融合数据；

所述输出层，用于根据所述融合数据输出模型结果。

进一步地，所述注意力高阶图卷积层由在不同阶数的图卷积都引入注意力机制得到。

进一步地，在所述注意力高阶图卷积层的任一阶数图卷积引入新的自连接。

进一步地，所述注意力高阶图卷积层包括基于权重共享的零阶图卷积到k阶图卷积，表示为：