[发明专利]DEBUG管理的方法、装置、电子设备和存储介质

说明书

本发明提供了一种DEBUG管理的方法、装置、电子设备和存储介质，其中，DEBUG管理的方法包括：获取AB测试埋点日志和排序服务埋点日志；解析、聚合所述AB测试埋点日志和排序服务埋点日志，得到结构化数据；查询所述结构化数据，进行排名解释。

技术领域

本发明涉及DEBUG领域。

背景技术

在线解释与调优平台主要是针对搜索推荐、广告等Feeds流智能化场景排名解释及特征、模型、策略编排的DEBUG而构建。现有技术主要存在以下几方面的问题：

第一：在搜索推荐等智能化场景中，整个流程经过召回、预测、排序、重排等过程，链路比较长，往往最终输出的列表排序的可解释性是业务比较关注的，但是因为过程中设计到不同服务(召回服务、模型预测服务、策略排序服务、业务重排服务、AB平台服务等)，最终的排序结果的解释会变得非常复杂，需要找到每个服务的日志进行拼接然后把所有的工程服务逻辑再走一遍才能排查出具体原因。

第二：在算法开发过程中，模型上线前算法希望模拟在线的过程来调试自己的算法是符合预期，并能够通过编辑历史特定的请求(特征)来通过未上线的模型预测最后的排序列表。

第三：搜索推荐的策略产品往往希望自己能够实时的调整线上策略，来验证自己的改进想法，也希望能够有个地方能够在历史的策略执行快照上能够验证下自己改进的策略对排序的影响(不影响线上)，

第四：排查该排序问题的人员往往希望通过调整问题点以期解决问题(达到期望的排序)，现有技术方案是无法实现的。

发明内容

下文呈现各种示例性技术方案的概述。在以下概述中可以进行一些简化和省略，其意在突出并介绍各种示例性技术方案的一些方面，但不限制本发明的范围。将在后续部分呈现足以允许本领域的普通技术人员产生并使用本发明概念的示例性技术方案的详细描述。

本发明的技术方案提供一种DEBUG管理的方法，包括获取AB测试埋点日志和排序服务埋点日志；解析、聚合所述AB测试埋点日志和排序服务埋点日志，得到结构化数据；查询所述结构化数据，进行排名解释。

可选地，所述方法还包括：将AB测试埋点日志和排序服务埋点日志作为样本，来训练算法模型，并输出模型数据。

可选地，所述方法还包括：根据结构化数据和模型数据，处理以下至少之一：特征调优、模型调优、策略调优、特征重要度、模型解释。

可选地，所述排序服务埋点日志包括召回信息、预测信息、排序信息、重排信息。

可选地，所述AB测试埋点日志包括请求ID、AB信息。

本发明的另一个技术方案提供了一种DEBUG管理的装置，包括：接收模块，被配置为获取AB测试埋点日志和排序服务埋点日志；解析模块，被配置为解析、聚合所述AB测试埋点日志和排序服务埋点日志，得到结构化数据；处理模块，被配置为查询所述结构化数据，进行排名解释。

可选地，所述装置，还包括算法模块，被配置将AB测试埋点日志和排序服务埋点日志作为样本，来训练算法模型，并输出模型数据。

可选地，所述处理模块被配置为，根据所述结构化数据和模型数据，处理以下至少之一：特征调优、模型调优、策略调优、特征重要度、模型解释。

可选地，所述排序服务埋点日志包括召回信息、预测信息、排序信息、重排信息。

可选地，所述AB测试埋点日志包括请求ID、AB信息。

本发明的另一个技术方案还提供了一种电子设备，包括：处理器、存储器以及存储在存储器上运行的计算机程序，所述处理器执行计算机程序时实现上述任一个技术方案所述的方法的步骤。