[发明专利]一种实验路径的确定方法及装置、电子设备

说明书

本发明公开一种实验路径的确定方法及装置、电子设备，涉及网络产品测试技术领域，以适配较多应用场景的实验方法入参需求。所述方法，包括：响应于用户端发送的请求信息，确定实验信息的情况下，根据请求信息从策略引擎中查找与所述请求信息匹配的实验路径；当查找到，将与所述请求信息匹配的各种规则形成的路径确认为实验路径；否则，从多条候选路径确定候选路径为实验路径，所述装置用于执行上述方法。本发明提供的方法用于网络产品测试。

技术领域

本发明涉及网络产品测试技术领域，尤其涉及一种实验路径的确定方法及装置、电子设备。

背景技术

在评测产品（如搜索、推荐系统或前台）效果时，除了离线的模型评估指标AUC（Area Under Curve，缩写为AUC），更合理的方法是通过线上真实的测试数据分组，来比较模型、策略及交互的真实效果。

对于新用户的发布，需要决策者以相应的经验数据作为依据。这些数据大部分由在线流量上的实验产生。虽然行业中已经有不少实验可以进行产品评测但是，这些实验方法难以适配较多场景的入参需求。

发明内容

本发明的目的在于提供一种实验路径的确定方法及装置、电子设备，以适配较多应用场景的实验方法入参需求。

第一方面，本发明提供一种实验路径的确定方法，包括：

响应于用户端发送的请求信息，确定实验信息的情况下，根据所述请求信息从策略引擎中查找与所述请求信息匹配的实验路径；所述策略引擎包括多层实验策略，每层所述实验策略包括多个规则；

当查找到与所述请求信息匹配的各种规则，将与所述请求信息匹配的各种规则形成的路径确认为实验路径；

当未查找到所述请求信息匹配的所述实验策略，从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，每条所述候选路径包括各层所述实验策略含有的一种规则组合成的路径。

与现有技术相比，本发明提供方法中，策略引擎包括多层实验策略，每层实验策略包括多个规则。基于此，该实验策略可以组合出各种实验路径，因此，本发明中的策略引擎具有良好的扩展性，可以支持多种请求信息的实验路径（即路由）查询需求，满足不同请求信息的测试需求。在此基础上，利用衡量指标(用户体验，收入或其它指标)确定哪些实验参数可以满足客户需求的结果，从而保证入参需求。并且，如果从搜索引擎未查找到与请求信息匹配的实验策略，则可以从策略引擎所确定的多条候选路径确定与请求信息匹配的候选路径为实验路径。由此可见，本发明提供的方法中，可以在较多应用场景下适配实验方法的入参需求。

可选的，所述请求信息包括：请求参数，所述实验路径包括的每个规则与至少一个所述请求参数之间满足命中条件；其中，

所述命中条件包括至少一个约束关系，每个所述约束关系包括相等逻辑关系或不等于逻辑关系；或，

所述命中条件包括取余逻辑条件和/或取整逻辑条件；或，

所述命中条件包括区间逻辑关系。

优选的，所述请求信息还包括请求标识，所述实验信息包括实验描述信息和实验标识；在确定所述实验信息的情况下，所述请求标识与所述实验标识匹配。

可选的，各层所述实验策略正交化；和/或，

至少一层所述实验策略包括的至少一种规则为自定义规则。

可选的，当未查找到所述请求信息匹配的所述实验策略，所述从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，包括：

根据所述实验信息的确定路径命中参数T；

根据所述路径命中参数T从多条所述候选路径确定与所述实验信息匹配的候选路径为实验路径，并进行存储。