[发明专利]一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置

说明书

本发明涉及一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置。本发明通过全局层面和局部层面的两个子任务预训练图神经网络模型，以从未标注的数据中学习输入数据的通用表征；将预训练的图神经网络模型迁移到目标任务的训练过程中，在预训练的图神经网络模型之后添加一个与目标任务相关的输出层，并利用有标签数据对预训练的图神经网络模型的参数进行微调，得到最终的图神经网络模型。本发明在节省人工标记成本的基础上有效结合无标签数据和有标签数据，提升了模型的泛化能力，能够简化目标任务的训练过程，达到更快收敛的目的；本发明充分利用了迁移学习的思想，能够节省大量的计算资源和计算时间，提高计算效率。

技术领域

本发明属于信息技术领域，具体涉及一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置。

背景技术

随着互联网技术的发展，社交网络、论文引用网络、交通网络等各领域大型复杂网络已经以图数据的形式渗透到现实生活的方方面面，与此同时也出现了各种各样繁杂的图挖掘任务，如节点分类、异常检测、链路预测、标签推荐等等。然而，依赖于启发式模型提取图结构信息的传统机器学习特征编码方式，在应对这些复杂场景数据分析时面临了前所未有的挑战。近年来，使用基于深度学习的图表示学习方法得到了广泛关注，其基本思想是将图结构数据编码为低维嵌入，将节点映射到一个稠密而低维的向量空间中，并在映射过程中尽量保留网络信息和节点间的相似性特征，以解决复杂图数据的高维度、稀疏性等问题。

目前，常用的图表示学习方法主要包括：1)基于谱方法的图表示学习，例如非线性降维算法、基于流形假设的拉普拉斯特征映射算法等。然而该类方法只利用了图的网络信息，学习到的图表示质量不高；2)基于最优化的图表示学习，即通过优化一个明确的目标函数从而学到图的低维表示，这类方法通常都是基于领域相关的方法，可扩展性差，需要为不同的图挖掘任务单独设计目标函数；3)基于深度学习的图表示学习方法，如DeepWalk算法、Node2vec算法等，在许多图表示学习任务中表现出了显著效果，然而却需要大量的人工标注数据。

发明内容

本发明针对上述问题，提供一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置。

本发明采用的技术方案如下：

一种基于迁移学习和深度学习融合的半监督图表示学习方法，包括以下步骤：

通过全局层面和局部层面的两个子任务预训练图神经网络模型，以从未标注的数据中学习输入数据的通用表征；

将预训练的图神经网络模型迁移到目标任务的训练过程中，在预训练的图神经网络模型之后添加一个与目标任务相关的输出层，并利用有标签数据对预训练的图神经网络模型的参数进行微调，得到最终的图神经网络模型。

进一步地，所述全局层面和局部层面的两个子任务，包括：

中心性评估子任务，用以获得反映各节点在全局中重要性的图节点嵌入表示；

上下文预测子任务，用以将具有相似邻域的节点映射到相近的嵌入表示空间中，使学习到的节点嵌入表示能够捕获其邻域信息。

进一步地，所述中心性评估子任务对输入的原始图中每个节点从不同粒度评估每个节点的中心性得分，构成输入节点的本地特征向量，并训练图自编码器模型，根据节点位于图中的结构角色来衡量节点在全局网络中的重要性，以学习到图中每个节点在全局中起到的作用，获得图节点嵌入表示提供给下游目标任务。

进一步地，所述中心性评估子任务对输入的原始图中每个节点计算特征向量中心性、介数中心性、紧密中心性和度中心性，从四个不同粒度评估每个节点的中心性得分。

进一步地，所述上下文预测子任务在全局网络图中使用上下文子图来预测各节点为中心的局部图结构，并利用图自编码器进行预训练，分别采用节点的k-hop子结构和对应的上下文子特征对节点编码，将出现在相似结构上下文中的节点映射到邻近的嵌入，将上下文编码成固定向量。