[发明专利]一种高效的图卷积神经网络重训练方法

说明书

本发明公开了一种高效的图卷积神经网络重训练方法，包括：对于上一时刻已经训练好的图卷积神经网络，获取每个节点历史时刻总的积累度；对于每个节点，利用其邻接节点历史时刻总的积累度，计算能够概括历史数据中知识的各节点表征表示；再利用当前时刻收集到的新数据构建增量图，结合增量图以及各节点表征表示，采用增量图卷积操作更新图卷积神经网络的参数。该方法利用图卷积神经网络自身的邻居聚合机制，直接从旧模型参数中提取旧知识，在只使用新数据的条件下精确、高效地完成重训练任务，该方法使得重训练模型的成本大大降低，模型性能比较原始的重训练方法显著提高。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种高效的图卷积神经网络重训练方法。

背景技术

近年来，随着图卷积神经网络的优异表现，图卷积神经网络模型被广泛应用于机器学习任务中，由于其良好的协同关系建模能力使得其被越来越多地运用在协同过滤推荐系统中。真实推荐场景下，新数据不断产生，用户兴趣持续变化，为了保证推荐系统的性能往往需要维持模型的不断更新。桎梏于图卷积神经网络远高于传统机器模型的训练成本，以及大数据背景下庞大的数据增量，想要高效地、高频率地更新图推荐模型非常困难，传统的重训练方法成本过高几乎不可能实现。

部分研究尝试只使用新增数据，或在此基础上额外增加少量历史数据参与模型重训练。虽然这一方法很好地避免了高昂的重训练成本，使得高频率更新图推荐模型成为可能，但是由于其对历史数据的抛弃、采样等操作，必然导致旧数据中蕴含的历史知识遭受损失，很难在重训练旧图卷积神经网络保障模型的性能。

发明内容

本发明的目的是提供一种高效的图卷积神经网络重训练方法，可以从旧的图卷积神经网络模型中提取知识，使得在重训练图推荐模型时仅利用新数据就可以保留用户的长期兴趣并使得模型的重训练成本大大下降，同时能够使得模型性能达到最优。

本发明的目的是通过以下技术方案实现的：

一种高效的图卷积神经网络重训练方法，包括：

对于上一时刻已经训练好的图卷积神经网络，获取每个节点历史时刻总的积累度；对于每个节点，利用其邻接节点历史时刻总的积累度，计算能够概括历史数据中知识的各节点表征表示；

再利用当前时刻收集到的新数据构建增量图，结合增量图以及各节点表征表示，采用增量图卷积操作更新图卷积神经网络的参数；

其中，当图卷积神经网络为图推荐模型时，当前时刻收集到的新数据为产生于上一时刻至当前时刻之间的用户与商品的交互数据。

由上述本发明提供的技术方案可以看出，利用图卷积神经网络自身的邻居聚合机制，直接从旧模型参数中提取旧知识，在只使用新数据的条件下精确、高效地完成重训练任务，该方法使得重训练模型的成本大大降低，模型性能比较原始的重训练方法显著提高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种高效的图卷积神经网络重训练方法的流程图；

图2为本发明实施例提供的增量图生成示意图；

图3为本发明实施例提供的增量图卷积操作(IGC)示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。