[发明专利]一种基于深度学习的平台相关的广告点击率预测方法

说明书

本发明公开了一种基于深度学习的平台相关的广告点击率预测方法。首先，获取多个平台的广告特征数据和用户行为数据，形成初步的数据集；其次筛选特征并对特征数据进行清理及标准化；再为每个平台构建点击率预测模型，根据准确率将平台分为训练集和测试集；然后通过多种深度学习模型和元学习模型结合的方式，得到模型参数；最后持续收集更多平台数据，进行清理及标准化后，输入现有模型进行训练预测。本发明的创新点是将平台因素引入到点击率预测模型中，对于新平台或数据量少平台的数据，比其他现有方法更加准确。

技术领域

本发明涉及计算机技术领域，涉及深度学习、元学习、与广告点击率预测有关的研究和分析，具体涉及基于深度学习的平台相关的点击率预测方法。

背景技术

点击率预测的研究一直受到学者们的追捧。从早期以协同过滤和基于内容为代表的方式，到引入各类深度学习模块，例如多层感知机、卷积神经网络、注意力机制、图神经网络等等。将强化学习、知识图谱、迁移学习等方法与之结合，也是当前研究的热门方向。模型的可解释性、对用户的肖像建模，也是拓展出的研究领域。广告点击率预测任务流行的模型包括：WideDeep是一种既考虑记忆又考虑泛化的CTR预测模型。它包括两部分:广度部分用于记忆和深度部分用于概括。DCN连接DNN模型和交叉网络，有效地捕捉隐式和显式高阶特征交互。DeepFM结合了因子分解机和深度神经网络的功能，在网络结构中进行特征学习。

元学习的核心思想最早提出于1998年，随着深度学习的蓬勃发展，元学习被赋予全新的意义，也有了更多用武之地。元学习适用于众多研究场景，同时也经常与小样本学习、强化学习、多任务学习结合研究。机器学习是手动特征选择，深度学习是联合特征和模型学习，而元学习可以看作是集成特征、模型和算法学习。元学习主要关注任务本身和任务发生的位置(内层和外层)。内层是指对于一个任务快速训练学习，外层则是对这些任务进行积累。

元学习的普遍分类方式是基于度量的方法、基于模型的方法和基于优化的方法。基于度量的元学习方法是学习特征空间，通过相似度来计算类别预测。新任务的信息不会被网络学习，只在已有的特征空间上进行输入比较。面对新任务的时候，模型不会有任何改变。这类方法主要分为两步，一步是特征提取，通常是卷积神经网络，一步是相似度量。代表网络有孪生网络、匹配网络、原型网络、关系网络等等。基于模型的元学习方法是将任务融入模型当中，获得状态来做预测，例如在循环网络中嵌入任务的训练数据后，为测试样例做预测。这类方法依赖于自适应的内部状态，顺序接受数据集，每一个输入改变状态来捕捉任务特性，然后对新的输入进行预测。代表网络有记忆增强网络、SNAIL、条件神经过程等等。基于优化的元学习方法是通过少步骤的优化来提升原知识的学习性能。主要是双层优化，内部和外部。内部是对特定的任务学习采用优化策略，外部是优化跨任务的学习能力。以MAML为代表作的一系列模型，可以轻松集成主流网络模型，还有LEO、LLAMA等模型。

然而当前技术基本都是对所有平台的广告数据集看作一个整体，统一输入模型研究。但平台间有相似性和独特性，平台间数据量往往也差异较大。这样的研究模式确实会在所有平台上皆有较好效果，但在不同平台上同一模型会有优劣之分。我们可以假设一个场景能更好理解，用户每天会浏览众多领域所在的在线平台，但是对于美食类广告他可能倾向于在与食物相关的领域去进行浏览，而不是与衣服相关的领域。如果模型因此而判断该用户并不喜好衣服信息广告，则是一种错误的解读。

发明内容

为解决现有技术中存在的上述问题，本发明提供了一种基于深度学习的平台相关的点击率预测方法。借助元学习，将平台看作子任务，通过学习以达到平台间高速适配。为更好捕捉平台特征，重新构造数据集结构，使每个平台的数据分布相似，降低平台对模型的影响力偏移问题。配合元学习训练模式，利用支撑集和查询集的拆分方式，使模型参数更好地适配所有平台和开拓新平台。面对新的平台，也能通过学会已有的平台来类比，从而快速解决。

实现本发明目的具体技术方案是：

本发明提供的基于深度学习的平台相关的点击率预测方法，包含如下步骤：