[发明专利]一种基于生成对抗和知识蒸馏的轻量级多模推荐方法

说明书

本发明公开一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，首先生成对抗网络会根据用户的点击向量和购买向量进行对抗训练，生成出与原始用户数据相似的用户历史数据。然后将生成出来的数据分别输入到生成对抗网络中的判别器和学生模型中进行深度学习训练。接着判别器作为教师网络与学生网络进行交叉熵的损失函数的训练，直至学生网络输出能拟合教师网络的输出后，反向传播更新参数直至训练结束。最后用户只需要在云端下载最终的学生模型即可进行在线推荐，提升推荐的效率。本发明基于多模态的用户画像提高推荐的精确度，采用知识蒸馏和生成对抗解决推荐模型的轻量级部署问题，同时保证用户的隐私安全，实现推荐精度和计算效率之间的平衡。

技术领域

本发明涉及数据推荐技术领域，具体涉及一种基于生成对抗和知识蒸馏的轻量级多模推荐方法。

背景技术

随着科技的发展和科技产品的普及，以及大数据时代带来的跨时代变化，人们所能使用的数据信息量也在不断增大，如何在繁杂无序的信息中快速精准的找到自己所喜欢的信息变成每个用户所苦恼的问题。因此应运而生的推荐系统能根据用户行为特征等信息进行分析，为用户推荐所喜欢的项目信息极大的方便了用户日常行为生活。

在众多推荐系统的相关技术研究中，协同过滤算法虽然在工业和研究中得到了较好的推荐效果，但是由于单个用户购买、点击或者评论的商品数量相对于所有商品而言是极小的一部分，尤其是目前用户和项目数量急剧增长，使得数据稀疏问题更为严重。另外，由于不同用户之间购买的物品重叠性较低，因此推荐系统无法找到其有效的相似用户，导致推荐结果不准确，进而影响用户体验度。有相关研究表明，基于深度学习技术的推荐系统能够有效缓解该问题，然而目前的深度学习模型加入到推荐系统当中存在推荐模型的模型参数比常规模型数量更多的问题，这就大大增加了模型的复杂性，其推荐模型无法部署于资源受限的运行环境下。因此，如何在担保推荐的准确性的同时提高计算效率是目前推荐领域关注的热点之一。

发明内容

本发明所要解决的是推荐系统中数据稀疏性和计算效率性问题，提供一种基于生成对抗和知识蒸馏的轻量级多模推荐方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，包括步骤如下：

步骤1、采集各用户的原始数据，对原始数据中的点击数据和购买数据进行过滤，分别得到用户真实点击序列和用户真实购买向量；

步骤2、利用各用户的用户真实点击序列对GRU生成对抗网络的GRU生成器和GRU判别器进行对抗训练，并输出各用户的最终的用户生成点击序列；

步骤3、利用各用户的用户真实购买向量对CF生成对抗网络的CF生成器和CF判别器进行对抗训练，并输出各用户的最终的用户生成购买向量；

步骤4、将GRU生成对抗网络对抗训练后所得到的GRU判别器和CF生成对抗网络对抗训练后所得到的CF判别器组成教师网络，并将一个独立的神经网络组成学生网络；

步骤5、将各用户的最终的用户生成点击序列和最终的用户生成购买向量分别送入到教师网络和学生网络中进行深度学习，得到深度学习后的教师网络和学生网络；

步骤6、基于知识蒸馏方法，深度学习后的教师网络和深度学习后的学生网络在网络的softmax层传递预测值，以让学生网络最后的输出值与教师网络最后的输出值尽可能相同，得到知识蒸馏后的教师网络和学生网络；

步骤7、用户从云端下载知识蒸馏后的学生网络，并利用该知识蒸馏后的学生网络对用户感兴趣的商品进行推荐。

上述步骤2的具体过程如下：

步骤2.1、从大样本空间中，生成用户随机点击序列；

步骤2.2、将用户随机点击序列输入GRU生成对抗网络的GRU生成器，GRU生成器生成与用户真实点击序列同分布的用户生成点击序列；