[发明专利]一种基于核心兴趣网络的点击率预测方法

说明书

本发明提供了一种基于核心兴趣网络的点击率预测方法。聚焦点击率预测任务下的时序数据中的长序列问题。提出了核心兴趣网络模型，将一个长序列切分成多个子序列，在每个子序列中提取用户的核心兴趣，每个子序列提取的核心兴趣将向下一个子序列传递，模型完成对整个长序列用户兴趣的学习，通过提取用户的核心兴趣，这是用户在更高层次和更稳定的兴趣传递给下一个子序列的数据中的噪声较小，更有利于学习用户的兴趣。本发明不仅可以用于推荐系统中的兴趣提取，还可以用于处理其他序列数据中的长序列问题。在推荐系统序列化预测场景有很多应用前景。

技术领域

本发明涉及商品点击率预测和基于深度学习的序列化推荐系统领域，尤其是一种基于点击率预测方法，为一种基于神经网络的商品推荐方法。

背景技术

随着互联网的发展，收集到用户的信息是越来越多，如何利用该信息提取用户兴趣变得尤为重要。获取用户兴趣，给用户推荐相应的物品带给公司巨大的收益。谷歌公司百分之八十以上的收入来自广告。广告的计费模式有很多，其中传统广告计费方式有：以展示量收费，即根据给用户展示的次数收费；以长期租赁的方式收费，即固定位置展示一定的时间收取相应的费用。但随着行业的发展更细致的方式更利于双方交易，如今则出现了，以点击量付费，用户点击了广告才收取相应费用，所以对一个公司来说提高点击率CTR则格外重要。

典型的CTR预测方法有微软研究院提出的逻辑回归模型(LR)；斯坦福大学Friedman等人提出一种解决特征组合问题的方案GDBT；日本大阪大学Steffen Rendle等人于2010年提出FM模型，旨在解决数据量大而稀疏的情况下的特征组合的问题。但是由于深度学习优秀的拟合能力。并且端到端的学习方式，不需要再进行特征工程，使得深度学习在推荐领域大放异彩。

如今CTR的主流方法都是基于深度学习，而且如今已有很多代表工作。它们大致分为两类一类是基于池化的方法，将用户的各个历史行为分别学习它们的表征形式，最后通过求和或是平均的方式来学习到用户最终的兴趣，如DIN、FNN、NFM。这种方式忽略了用户行为之间的依赖性。另外一类是基于时序的方法，将用户各个时间购买的物品视为时间序列，用LSTM/GRU等模型从时序中捕获用户的兴趣，最终依据用户兴趣对候选物品进行点击率预测。然而，当序列长度相对较长时，例如超过100时，这些解决方案无法处理这种情况。这是由于RNN的消失梯度问题，即模型不能学习距离太远行为的信息。

发明内容

为了克服现有技术的不足，本发明提供一种基于核心兴趣网络的点击率预测方法。本发明提出了一种新的核心利益网络(CIN)模型，以减轻CTR预测中长序列的梯度消失问题。提出一种基于核心兴趣网络的点击率预测方法。本发明利用以下原理：本发明聚焦点击率(Click Through Rate,CTR)预测任务下的时序数据中的长序列问题。为了缓解臭名昭著的LSTM/GRU的梯度消失问题，提出了核心兴趣网络(Core Interest Network,CIN)模型，将一个长序列切分成多个子序列，在每个子序列中提取用户的核心兴趣。每个子序列提取的核心兴趣将向下一个子序列传递。通过这种方法，模型完成对整个长序列用户兴趣的学习。通过提取用户核心兴趣，这是用户更高阶更稳定的兴趣，使得传递给下一子序列数据中噪音更少，更利于学习到用户的兴趣。同时加入了多层感知机(Multi-Layer Perception,MLP)这一深度学习方法，可以从数据中学习任意函数，增加了点击率预测的准确性。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：获取用户属性描述、用户行为列表、广告信息以及上下文信息；

步骤2：将用户行为序列按session切分，每个session中依据用户行为数据，提取用户核心兴趣：

u_t＝σ(W^ui_t+U^uh_t-1+b^u),