[发明专利]一种基于DARTS的自动特征交叉的点击率预估算法框架

说明书

本发明公开了一种基于DARTS的自动特征交叉的点击率预估算法框架，包括以下：收集用户与物品的交互日志及特征，生成结构化数据，包括用户U曝光的物品E，点击的物品C(其中C∈E)，曝光后点击的记录label为1，曝光后未点击的记录label为0；同时保存用户特征信息、物品特征信息、用户与物品交互特征信息。本发明提出了为每组特征对设计不同的交叉算子，以提升特征交叉的表达能力；自动化的为每组特征对搜索最优的交叉算子。同时定义了交叉算子的搜索空间，有效提升了搜索最优模型的效率和精准度，提升了点击率预估的精度，从而提升场景的转化率；可在不同数据集上搜索出最合适的网络框架，更快的在多场景进行迁移，提升了模型训练的效率。

技术领域

本发明涉及互联网推荐系统领域，特别涉及一种基于DARTS的自动特征交叉的点击率预估算法框架。

背景技术

互联网推荐系统是指通过算法找到用户可能感兴趣的物品推荐给用户的系统。它可以根据用户的历史行为预测用户对每个物品的偏好，再根据预测结果进行个性化的页面展示，可以更好的满足用户需求，提升互联网产品的转化率和留存率。

在推荐算法中，单个特征为点击率预估的贡献有限，而对特征进行适当交叉后，提升了特征的信息量，能显著提升推荐结果的精准度，在推荐场景中极为重要。

而随着神经网络架构搜索即NAS的发展，其自动搜索最优架构的能力开始广泛应用于CV、NLP、推荐系统等领域。在众多NAS算法中，DARTS算法因其特有的松弛连续化、可使用梯度下降进行学习的特性受到了广泛的关注和应用。

现有推荐系统中的特征交叉方式通常由人工经验来确定，并且同一个模型的同一层或同一部分通常对所有特征使用单一的交叉方式，如deepFM模型中两两特征交叉全部使用内积算子，NFM模型中全部使用哈达玛积算子等等。但是由于推荐系统中场景数据特征众多，可选择的交叉算子众多，并且在不同场景上数据分布差异大导致最优算子差异大，甚至即使在同一个模型中，不同的两两特征对的最优交叉方式可能也存在巨大差异，仅靠人工经验构造模型有明显瓶颈。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于DARTS的自动特征交叉的点击率预估算法框架，创新地为每一组特征对设计不同的交叉算子，可更有效的表达两个特征的交叉信息。同时本专利构造了交叉算子搜索空间，利用DARTS模型自动化搜索最优架构的技术实现上述最优交叉算子的搜索目标，以此构成一个拥有多样化交叉算子的推荐算法结构，可有效提升推荐算法的精准度。

本发明提供了如下的技术方案：

本发明提供一种基于DARTS的自动特征交叉的点击率预估算法框架，包括以下：

一、收集用户与物品的交互日志及特征，生成结构化数据：

包括用户U曝光的物品E，点击的物品C(其中C∈E)，曝光后点击的记录label为1，曝光后未点击的记录label为0；同时保存用户特征信息、物品特征信息、用户与物品交互特征信息；

二、将上述数据引入本算法框架进行学习：

1)稀疏特征映射层：也即embedding层，将推荐系统中的高维稀疏特征映射成低维稠密向量，再输入到后续网络中；

2)显式交叉塔：每个特征embedding作为一个field(域)，每两个特征进行vector-wise的交叉运算，且每一组特征对根据特征的特性进行不同的交叉操作；备选交叉算子包括：max(x,y),min(x,y),concat(x,y),inner-product(x,y),outer-product(x,y),Hadamard-product(x,y)；将交叉算子的结果加权求和形成混合算子进行后续的运算(权重为可学习参数)；