[发明专利]一种基于多任务学习机制的点击率预估方法

说明书

本发明公开了一种基于多任务学习机制的点击率预估(Click‑Through‑Rate,CTR)方法，旨在改善文本内容推荐系统中针对用户进行个性化推荐的效果。本发明立足于将领域知识融入深度模型来改进用户兴趣挖掘的思想，提出了新颖的混合专家网络来对领域知识进行高解释性表示，并通过任务导向的门控网络建模多任务之间的联系，进一步提高CTR以及其他任务预测的准确性。本发明提出的方法可以直接输入独热编码(One‑Hot)形式的用户特征和候选物品特征，不需要繁琐的人工特征工程，经过深度模型的特征交叉就可以学习到用户深层次的兴趣表示，最后输出0～1范围内的概率值来表示用户对候选物品的感兴趣程度。本发明具备较高的解释性和扩展性，很容易就能应用于具体的推荐场景中。

技术领域

本发明涉及推荐系统领域中的CTR预估、CVR预估，以及多任务学习机制、知识表示等领域，具体涉及一种基于多任务学习机制的点击率预估方法。

背景技术

推荐系统是为了解决“信息过载”的情况下，如何帮助用户快速过滤冗余数据，找到自身感兴趣信息的问题。当前推荐系统在问答社区中发挥着重要作用。根据用户的偏好需求为其推荐可能感兴趣的问题，以此提升用户体验。然而目前推荐算法研究面临着用户隐式兴趣挖掘困难，以及如何有效融入领域知识等技术难点。

以知乎等开放领域问答社区为例，用户进入社区后，首页会推送许多系统认为用户可能感兴趣的问题，期望用户点击并产生一系列的交互行为，如赞同、关注、回答等。开放领域的问答社区积累了各种类型的问题，与之对应的是受限域问答社区，例如计算机技术相关的Stack Overflow。受限域的推荐可以借助当前领域的特点来提高推荐算法的有效性，并且在融入领域知识的情况下可以得到更满足用户兴趣的推荐结果。但受限域的推荐研究除了面对扩展性和冷启动等问题外，由于其自身数据特点目前仅在少数领域取得了进展，比如金融行业的理财产品推荐等。究其原因，首先是很多行业领域缺少充足且质量完善的训练数据。要从海量数据中清洗出当前领域内可供研究的数据信息需要长期投入人力和物力；其次，受限制领域的用户兴趣挖掘更困难。比如中医药问答社区的用户更多的是中医的爱好者，学者以及相关从业人员。这些用户已经明确表现出对中医的兴趣，而在此基础上进一步挖掘兴趣需要更有效的算法模型；最后，因为各个领域都有自己的特殊性，涉及的数据专业性强，因此需要领域内的知识来指导算法改进，直接利用开放领域的推荐技术往往效果较差。

协同过滤算法基于用户和物品的交互信息能够很好地度量用户与用户、物品与物品之间的相似性，并且适用于大规模数据集上。但在稀疏场景下的效果大打折扣。同时对于冷启动和长尾效应等束手无策。基于内容特征的逻辑回归和因子分解机算法简单且高效，但需要繁重的特征工程。研究人员需要花费大量时间衡量特征的重要性。树模型的组合开创了自动特征交叉的趋势，但模型的组合能力依旧十分有限。

近年来，深度学习网络凭借高效的特征提取能力，其发展引领了技术的革新。在推荐领域深度学习也成为了主流的研究方向。本发明在深度学习的背景下，基于多任务学习机制来融入领域知识，改进模型对用户兴趣的挖掘能力，进一步提高模型预测的效果。

发明内容

本发明的目的是高效融入领域知识，并对用户兴趣进行准确地挖掘，最后改善模型对点击率预估以及其他任务的预测能力。

为实现上述目的，本发明采用如下技术方案：

本发明公开了一种基于多任务学习机制的点击率预估方法，包括以下步骤：

1)构建具有用户属性和物品属性的数据集。并且定义模型学习的任务目标：点击率CTR和转换率CVR。点击率表示用户对展示物品的点击概率，转换率表示用户在点击展示物品后进一步的行为转换概率，行为转换例如电商平台的购买行为、问答社区推荐的问题收藏和赞同行为等；