[发明专利]机器学习模型的投放策略评估方法、装置及电子设备

权利要求书

1.一种机器学习模型的投放策略评估方法，其特征在于，包括：

获取存量用户中满足预设条件的用户以生成样本用户集合；

通过历史积累的白名单用户和黑名单用户生成定向用户集合；

确定待进行评估的机器学习模型和待评估的投放策略；

将样本用户集合和定向用户集合分别输入所述机器学习模型中生成用户模型分集合和定向模型分集合；

基于所述投放策略将所述用户模型分集合和所述定向模型分集合划分为多个样本投放集合和多个定向投放集合；

获取所述多个样本投放集合和所述多个定向投放集合对应的多个样本流量分集合和多个定向流量分集合；

计算出所述多个样本流量分集合对应的多组样本覆盖率及样本转化率；

计算出所述多个定向流量分集合对应的多组定向覆盖率及定向转化率；

基于所述多组样本覆盖率及样本转化率、所述多组定向覆盖率及定向转化率之间的差异和单调性对所述机器学习模型的投放策略进行评估。

2.如权利要求1所述的投放策略评估方法，其特征在于，所述投放策略包括切分策略；

基于所述投放策略将所述用户模型分集合和所述定向模型分集合划分为多个样本投放集合和多个定向投放集合，包括：

获取所述切分策略中的多个阈值范围；

将所述多个阈值范围分别和所述用户模型分集合中的多个用户模型分进行比较，以将所述用户模型分集合按照阈值范围分为所述多个样本投放集合；

将所述多个阈值范围分别和所述定向模型分集合中的多个定向模型分进行比较，以将所述定向模型分集合按照阈值范围分为所述多个定向投放集合。

3.如权利要求1所述的投放策略评估方法，其特征在于，获取所述多个样本投放集合和所述多个定向投放集合对应的多个样本流量分集合和多个定向流量分集合之前，还包括：

获取所述样本用户集合和所述定向用户集合的第一流量分集合和第二流量分集合；

生成所述多个样本投放集合和所述多个定向投放集合对应的多个样本用户子集合和多个定向用户子集合；

基于所述多个样本用户子集合和所述多个定向用户子集合对所述第一流量分集合和所述第二流量分集合进行整理以生成所述多个样本流量分集合和所述多个定向流量分集合。

4.如权利要求3所述的投放策略评估方法，其特征在于，获取所述样本用户集合和所述定向用户集合的第一流量分集合和第二流量分集合，包括：

获取所述样本用户集合和所述定向用户集合中的用户在第三方媒体上的操作数据；

基于所述操作数据中的转化率生成所述第一流量分集合和所述第二流量分集合。

5.如权利要求3所述的投放策略评估方法，其特征在于，基于所述多个样本用户子集合和所述多个定向用户子集合对所述第一流量分集合和所述第二流量分集合进行整理以生成所述多个样本流量分集合和所述多个定向流量分集合，包括：

提取所述样本用户子集合或所述定向用户子集合中的用户；

在所述第一流量分集合和所述第二流量分集合中确定所述用户对应的分数；

通过所述用户和其对应的分数生成所述样本用户子集合或所述定向用户子集合对应的样本流量分集合或定向流量分集合。

6.如权利要求1所述的投放策略评估方法，其特征在于，还包括：

调整所述投放策略中的多个阈值范围；

基于调整后的多个阈值范围重新生成多个样本流量分集合和多个定向流量分集合以对所述机器学习模型的投放策略进行重新评估。

7.如权利要求6所述的投放策略评估方法，其特征在于，还包括：

确定所述投放策略中的多个阈值范围的调整范围和调整步长；

基于所述调整范围和调整步长对所述机器学习模型的投放策略进行评估，生成多个评估结果；

基于所述多个评估结果确定最优化投放策略。

8.如权利要求1所述的投放策略评估方法，其特征在于，还包括：

基于python技术，将投放策略的评估结果进行实时展示。