[发明专利]一种MMoE和LightGBM混合的预测模型的方法

权利要求书

1.一种MMoE和LightGBM混合的预测模型的方法，其特征在于，所述方法包括：

对于给定的一定数量到访过购物APP“热门推荐”的用户，根据这些用户在购物软件内的历史n天的行为数据，通过算法在测试集上预测出这些用户对于不同产品内容的行为(包括查看商品、收藏、分享、查看评论、加入购物车、购买)的发生概率。

构建组合深度学习网络：所述组合深度学习网络包含一个MMoE模型和一个LightGBM模型。将提取的用户在n天的行为数据分别放入两个模型里面进行训练，然后再将得到的输出进行线性组合，进行多次实验得到一个最优的线性组合。

根据所述用户n的行为数据对所述组合深度学习网络进行训练，得到训练好的用户行为预测模型；

获取用户n天的行为数据输入，并进行预处理得到待测用户行为的数据序列；

将所述待测输入到MMoE和Light GBM模型中，得到用户的不同行为(包括查看商品、收藏、分享、查看评论、加入购物车、购买)预测值概率值，然后再将两个值进行线性组合。

2.根据权利要求1所述的一种MMoE和LightGBM混合的预测模型的方法，其特征在于，获取n个用户在n天的行为数据，并进行预处理得到一个行为序列，包括：

获取多个用户n天的行为；

对每条数据采用插值法补全缺省值。

3.根据权利要求1所述的MMoE和LightGBM混合的预测模型的方法，其特征在于，根据所述用户n天的行为序列分别对MMoE和Light GBM进行训练，得到训练好的用户行为(包括查看商品、收藏、分享、查看评论、加入购物车、购买)预测模型，然后进行线性组合，找到最优的预测值包括：

将每个用户的行为数据作为输入，并且将多个用户行为数据分为训练样本和测试样本，输入到MMoE模型中去，得到多个输出，然后再输入到LightGBM中去得到输出，然后再将得到的结果进行多个线性组合，去到局部最优解。

利用测试样本对预估的用户行为预测模型进行测试，得到训练好的用户行为预测模型。

4.根据权利要求1-3任一项所述的一种MMoE和LightGBM混合的预测模型的方法，其特征在于，所述embedding提取模块中采用Time2Vec方式进行所述用户行为序列进行embedding提取。

5.一种MMoE和LightGBM混合的预测模型，所述方法包括：

数据获取和预处理模块，用于获取多个用户n天的行为数据，并进行预处理得到用户n天的行为数据序列；

模型构建模块，用户构建组合深度学习网络；所述组合深度学习网络包含一个MMoE模型和一个LightGBM模型。这两个模型都拥有embedding提取模块，所述embedding层提取模块用于提取用户在n天的行为，将数据转化为多维矩阵。将多维矩阵的数据作为输入，输入到MMoE模型和Light GBM模型中进行训练学习，得到的输出再进行线性组合。

所述的MMoE模型是一种多任务学习模型，包含多个门控网络和多个专家，Gate：把输入通过一个线性变换映射到维，再算个softmax得到每个Expert的权重。Expert：简单的基层全连接网络，relu激活，每个Expert独立权重

所述的Light GBM是一种先把连续的浮点特征值离散化成个整数，同时构造造一个宽度为的直方图。在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点

模型训练模块，用于根据所述用户n天行为数据对所述组合深度学习网络进行训练，得到训练好的用户行为预测模型；

获取用户n天的行为数据输入，并进行预处理得到待测用户行为的数据序列；

将所述待测输入到MMoE和Light GBM模型中，得到用户的不同行为(包括查看商品、收藏、分享、查看评论、加入购物车、购买)预测值概率值。