[发明专利]一种推荐算法的评估方法、装置、电子设备以及存储介质

说明书

本申请公开了一种推荐算法的评估方法，包括：根据历史记录，获取在对比推荐算法下对应具体推荐场景的历史推荐结果以及用户行为记录；在重建的所述具体推荐场景下，运行待评估推荐算法，返回待评估推荐算法的当前推荐结果；根据对应所述具体推荐场景的所述用户行为记录，获得用户行为所涉及的目标对象在所述当前推荐结果中的当前顺序；将所述目标对象的所述当前顺序，与所述历史推荐结果中所述目标对象出现的历史顺序进行比较，获得顺序差异值；利用达到预定数量要求的不同具体推荐场景下的所述顺序差异值，采用预定的评估方案，获得对所述待评估推荐算法的评估结果。本申请所述推荐算法的评估方法迭代周期短且用户体验较好。

技术领域

本申请涉及计算机技术领域，具体涉及一种推荐算法的评估方法、装置、电子设备以及存储介质。

背景技术

模型作为设计工具中的核心数据，承载着设计师对设计的表达方式以及设计价值的后续延伸(设计带单、设计生产等)。在设计工具专业能力不断提升过程中，仅通过提供查询、筛选、排序这些比较基础的搜索能力，难以满足不同需求方及设计师对找模型效率及模型分发合理性的要求，现有的通过设计域搜索推荐算法建设的项目中，主要是通过行为数据池、实时特征、多路召回、精排、重排等技术手段，期望能实现搜推结果千人千面的效果，让设计师更快速地选择到合适的模型。

但如何衡量推荐算法的效果成了测试面临的问题，测试并不能给出一个客观的、可量化的一个测试结果。所以目前往往采取线上发布后AB对照测试，通过比较来得到推荐算法的效果，后续再针对AB测试结果去优化推荐算法。

然而，采用上述方式衡量推荐算法的效果，容易导致如下的问题：

1.单次迭代研发周期长，开发/测试-发布-AB测试-继续迭代优化，因为需要在线上进行较长一段时间的AB测试后才能得到结果，而后再进行后续迭代，所以每次迭代的周期都比较长。

2.影响用户体验，每次做AB测试，都可能会或多或少地影响到了用户的使用体验。

因此，目前急需一种评估方案，能够在发布前就能客观的、可量化、快速迭代地得到推荐算法的效果。

发明内容

本申请提供一种推荐算法的评估方法，以解决现有技术中衡量推荐算法效果的方法不能进行量化评估，以及迭代周期长且用户体验差的问题。本申请还提供一种推荐算法的评估装置、一种电子设备与存储介质。

本申请提供的推荐算法的评估方法，包括：

根据历史记录，获取在对比推荐算法下对应具体推荐场景的历史推荐结果以及用户行为记录；在重建的所述具体推荐场景下，运行待评估推荐算法，返回待评估推荐算法的当前推荐结果；根据对应所述具体推荐场景的所述用户行为记录，获得用户行为所涉及的目标对象在所述当前推荐结果中的当前顺序；将所述目标对象的所述当前顺序，与所述历史推荐结果中所述目标对象出现的历史顺序进行比较，获得顺序差异值；利用达到预定数量要求的不同具体推荐场景下的所述顺序差异值，采用预定的评估方案，获得对所述待评估推荐算法的评估结果。

可选的，所述用户行为记录中至少包括对应所述具体推荐场景，用户行为所涉及的目标对象在召回条目中的顺序；

相应的，所述顺序差异值，是指根据用户行为记录中，用户行为所涉及的目标对象，在待评估推荐算法下在召回条目中的顺序，与在对比推荐算法下在召回条目中的顺序之间的差值。

可选的，所述具体推荐场景是指用户处于的推荐场景，包括：所处于的推荐环节、所搜索的目标对象、所选择的推荐条目。

可选的，所述用户行为所涉及的目标对象包括如下情况中的一种或者多种：

所述用户实际选择的目标对象；

所述用户点击的目标对象；

与所述用户实际选择的目标对象或者与所述用户点击的目标对象相类似的可选对象。