[发明专利]在线服务实验方法、装置、计算机设备和存储介质

说明书

本申请实施例属于数据处理领域，涉及一种在线服务实验方法，应用于在线服务实验系统中，其中，所述在线服务实验系统包括至少一个实验域，各所述实验域对应一个待评估系统，各所述待评估系统包括待评估对象，所述方法包括：对待评估对象进行参数化处理，得到待评估参数；根据参数关联性对待评估参数进行分组，得到分组参数；为各所述分组参数所在实验层指定一个请求键值；当接收到用户请求时，根据请求键值确定是否存在与用户请求对应的实验，若存在，则将其作为命中实验；并将命中实验对应的取值组合作为生效参数，作为实验结果。本申请还提供一种在线服务实验装置、计算机设备及存储介质。采用本方法解决了流量饥饿提高了性能。

技术领域

本申请涉及数据处理领域，特别是涉及一种在线服务实验方法、装置、计算机设备和存储介质。

背景技术

人工智能系统的实验方法，其基本功能是通过线上实验比较人工智能系统中涉及到的不同模型、不同方法或者不同配置的优劣。其中，人工智能系统常见形态是接收用户输入，通过人工智能模型处理后，返回结果。例如在智能客服中，输入为用户输入的语音或者文字，人工智能模型的作用是生成对应的回复，而返回结果就是给用户的回复。再比如在推荐系统中，输入为用户的特征数据，人工智能模型的作用是找出要推荐给用户的物品列表，而输出是推荐给用户的物品列表。为了评估上述人工智能模型的效果，需要通过计算一些指标来进行量化，比如在只能客服系统中，用户和系统交互的轮次或者用户对本次对话的评分反映了对话模型的效果。再比如在推荐服务中，用户对推荐物品的点击率反映了推荐模型的效果。比较不同模型效果的过程称为实验。

传统技术中有两种常见的场景，一个是比较两个完全不同的方法或者模型的效果，比如比较ItemCF模型和UserCF模型；另一个是比较相同模型的不同取值组合的效果，例如BERT模型由三个主要的参数，参数L表示神经网络层数、参数H表示隐含层的大小、参数A表示注意力头(attention heads)的数量；加入L有n1种取值，H有n2种取值，A有n3种取值，则最终参数取值组合数量n＝n1*n2*n3，实验目标是比较m种(m≤n)参数组合下模型的效果。为此要首先对要评估的系统进行参数化，以统一评估对象。例如对于“比较不同的模型M1和M2”的场景，引入与现有参数不重名的新参数M，则该问题亦转化为评估取值组合的问题。

评估一组取值组合的配置及过程称为一组实验，一般一个系统中可能需要同时进行多组实验。例如推荐服务中，一般至少有召回、排序两个模块，则需要设置两组实验分别去比较召回模块的取值组合和排序模块的取值组合。

一般实验方法分为离线实验、单层实验以及多因子实验。离线实验不适用线上流量，使用离线收集的数据对要评估的m种参数组合分别计算相关评价指标，以选出较优的参数组合；单层实验使用线上流量，但只有一个实验层，如有多组实验，则每组实验只能使用一定比例的流量，例如4组实验，各使用四分之一的流量进行实验；最后的多因子实验对于一个N参数，每个参数有M种取值的系统，一共需要M^N个实验。

传统的实验方法的问题是无法用户大规模线上系统，具体来说，对于离线实验，因其使用离线数据，因为数据和环境均与线上环境有偏差，得到的实验结果可信度较低，只能用于参考，无法用于实际决策；对于单层线上实验，因为不同实验组需要互斥在总流量中占用一部分流量用于实验，则当前序实验组划出足够的流量用于实验时，可能造成后面实验组无法得到足够的流量，因而造成流量饥饿，而导致的实验结果可信度低的问题；对于多因子实验来说，因其实验数量随着参数数量的增加呈指数增长，所以根本无法应用于大规模线上系统中。