[发明专利]一种推荐算法的评估方法、装置、电子设备以及存储介质

权利要求书

1.一种推荐算法的评估方法，其特征在于，包括：

根据历史记录，获取在对比推荐算法下对应具体推荐场景的历史推荐结果以及用户行为记录；

在重建的所述具体推荐场景下，运行待评估推荐算法，返回待评估推荐算法的当前推荐结果；

根据对应所述具体推荐场景的所述用户行为记录，获得用户行为所涉及的目标对象在所述当前推荐结果中的当前顺序；

将所述目标对象的所述当前顺序，与所述历史推荐结果中所述目标对象出现的历史顺序进行比较，获得顺序差异值；

利用达到预定数量要求的不同具体推荐场景下的所述顺序差异值，采用预定的评估方案，获得对所述待评估推荐算法的评估结果。

2.根据权利要求1所述的推荐算法的评估方法，其特征在于，所述用户行为记录中至少包括对应所述具体推荐场景，用户行为所涉及的目标对象在召回条目中的顺序；

相应的，所述顺序差异值，是指根据用户行为记录中，用户行为所涉及的目标对象，在待评估推荐算法下在召回条目中的顺序，与在对比推荐算法下在召回条目中的顺序之间的差值。

3.根据权利要求1所述的推荐算法的评估方法，其特征在于，所述具体推荐场景是指用户处于的推荐场景，包括：所处于的推荐环节、所搜索的目标对象、所选择的推荐条目。

4.根据权利要求2所述的推荐算法的评估方法，其特征在于，所述用户行为所涉及的目标对象包括如下情况中的一种或者多种：

所述用户实际选择的目标对象；

所述用户点击的目标对象；

与所述用户实际选择的目标对象或者与所述用户点击的目标对象相类似的可选对象。

5.根据权利要求4所述的推荐算法的评估方法，其特征在于，所述与所述用户实际选择的目标对象或者与所述用户点击的目标对象相类似的可选对象，包括如下情况中的一种或者多种：

与所述用户实际选择的目标对象或者与所述用户点击的目标对象属性相同的对象；

与所述用户实际选择的目标对象或者与所述用户点击的目标对象属性相同，且与所述目标对象相似度大于预定阈值的可选对象。

6.根据权利要求1所述的推荐算法的评估方法，其特征在于，所述预定的评估方案，是指采用统计分析的方式进行评估。

7.根据权利要求6所述的推荐算法的评估方法，其特征在于，所述利用达到预定数量要求的不同具体推荐场景下的所述顺序差异值，采用预定的评估方案，获得对所述待评估推荐算法的评估结果，包括：

根据所述达到预定数量要求的不同具体推荐场景下的所述顺序差异值，获得统计分析值；

根据所述统计分析值，获得对所述待评估推荐算法的评估结果。

8.根据权利要求7所述的推荐算法的评估方法，其特征在于，所述统计分析值包括以下类型的统计分析值中的至少一种：

顺序差异值的平均值、中位值、离散值。

9.根据权利要求8所述的推荐算法的评估方法，其特征在于，所述根据所述统计分析值，获得对所述待评估推荐算法的评估结果，采用如下评估方式中的至少一种：

所述平均值与所述待评估推荐算法优化效果正相关；

所述中位值与所述待评估推荐算法优化效果正相关；

所述离散值与所述待评估推荐算法优化效果负相关。

10.根据权利要求7所述的推荐算法的评估方法，其特征在于，所述根据所述统计分析值，获得对所述待评估推荐算法的评估结果，采用如下评估方式：

获得多个类型的统计分析值；

根据采用预设的评估方案，对所述多个类型的统计分析值进行加权平均，获得的结果作为评估值；

将所述评估值作为评估所述推荐算法的评估结果。