[发明专利]一种基于残差学习的点击率预测融合方法

说明书

本发明公开了一种基于残差学习的点击率预测融合方法，包括：1.根据点击率预测数据特点构造训练数据集；2.获取样本基于传统机器学习的点击率预测概率；3.获取基于机器学习模型的预测结果与真实标签之间的残差值；4.获取每个样本基于深度学习的点击率预测概率；5.获得两类模型联合训练的预测结果；6.重复步骤4.2～5以完成一轮次训练；7.重复步骤4～6至至点击率预测准确率达到最好；8.对预测结果集进行降序排序，选取前若干个产品进行推荐。本发明基于残差学习的融合思路，能够充分挖掘点击率预测数据中各类型特征背后的隐藏信息，进而更好地捕获用户的兴趣爱好，并为用户展示点击概率更大的产品，以实现更精准的个性化产品推荐任务。

技术领域

本发明涉及个性化推荐、信息检索、在线广告等领域，具体地来说是一种基于残差学习的点击率预测融合方法，以产品个性化推荐的效果。

技术背景

近年来，随着互联网和智能移动设备的普及，各类应用平台的层出不穷引发了数据规模的爆炸式增长，随之发展的各类数据挖掘，机器学习，深度学习等技术使得从大规模的用户产品交互数据中高效精确地挖掘出对用户有价值的信息，实现个性化推荐成为可能。面对实际应用中用户和产品项目数量众多的问题，如何根据用户历史点击记录提前预测用户的下一次点击状态已成为这些应用平台有针对性地投放产品的重要内容之一。如广告搜索中的点击预测、网页搜索中的内容排序、推荐系统中的内容优化、运输网络中的路线选择等。这个过程我们通常称之为点击率预测(Click-throughrate，CTR)任务。当前点击率预测(CTR)已经广泛应用于电商、音乐、电影、社交等移动平台，实际上，CTR预测任务专注于预测用户点击项目的可能性，并且可以为用户展示具有较大概率的预测项目，以提高个性化推荐的效果，但是其性能往往限制于点击率预测数据本身的特性。该类数据常常包含稠密数值特征和稀疏类别特征的特点，导致现有模型学习性能不佳。

由于点击率预测模型通常被认为是一个分类过程，因此当前的解决方案可以分为两类：传统的基于机器学习模型和基于深度学习的模型。在这两类模型中，利用用户(性别、年龄、职业等)和产品(价格、质量、种类)等丰富的属性特征对用户与产品之间交互关系进行建模，根据用户对产品是否进行点击操作从而挖掘用户的个人喜好，从而为用户展示用户更有可能点击的产品，实现个性化推荐的同时还能提高用户浏览产品的效率。但是现实世界中的点击率预测数据通常包含稠密的数值特征和稀疏的类别特征，而现有的点击率预测模型通常只关注到一方面的特征，而忽视了另一方面特征上的学习效果。因此，现有点击率预测方法存在数据利用不充分以及单方面学习的缺陷，造成点击率预测效果不佳，随之，各大电商平台的个性化推荐效果也受到了一定的限制。

通过把分别适用于各类特征的模型进行融合(如：机器学习模型和更适合处理稠密的数值特征，深度学习模型更适合处理稀疏的类别特征)，可以有效地解决现有模型单方面学习的问题。近来，有许多研究者针对当前点击率预测方法存在的效果不佳的问题提出一系列的融合方法，并且这些方法显示了同时对线性和非线性特征进行建模的优势，并在实践中带来了更好的性能。然而，对于现有的融合方法来说，它们要不就是基于特征融合，要不就是基于预测结果融合；前者仅将单个模型用作特征提取过程，并没有直接结合两类模型的互补优势，后者还需要一个额外的集成方法来融合两个单一模型的结果，这就会使得最终模型的预测结果质量在很大程度上依赖于附加集成方法的融合能力综合提到的两种融合方式来看，这些融合方法并未有效地考虑不同的模型可以捕获到数据的不同特征的特点以及不同模型学习能力的差异，也就无法获得最佳的准确性。所以，探索如何利用传统机器学习模型和深度神经网络模型各自的优势，并有效地融合两种类型的模型以解决特征学习中的单方面学习的问题，以提高个性化推荐的效果显得至关重要。

发明内容