[发明专利]基于人工智能的AB测试方法、装置、计算机设备及介质

说明书

本发明涉及人工智能技术领域，提供一种基于人工智能的AB测试方法、装置、计算机设备及介质，包括：清洗多维度特征数据为多维度标准数据；根据初始流量分配执行AB测试得到功效指标值；基于初始流量分配对应的多维度标准数据及功效指标值训练第一xgboost模型；根据第一xgboost模型的第一输出结果更新第一流量分配，基于第一流量分配对应的多维度标准数据训练第二xgboost模型；当第二xgboost模型的第二输出结果优于第一输出结果，根据第二输出结果更新第二流量分配并训练第三xgboost模型；当第三xgboost模型的第三输出结果大于等于预设结果阈值时，确定第三输出结果为AB测试的目标结果。本发明能够提高AB测试的测试效率，且保证AB测试结果的长期效应与短期效应的一致性。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的AB测试方法、装置、计算机设备及介质。

背景技术

AB测试已成为企业业务评估与业务增长效能的必备工具，通过保持确定维度变量，改变若干因素来得出不同方案，对实验用户分群分别投放不通方案，并获取反馈信息和相关数据。

传统的AB测试，需要进行AB测试方案设计、AB测试多方案场景代码编写等一系列繁琐的过程，导致AB测试效率较低；此外，通过多长期多次的AB测试结果的分析，发现UI/UE的变更，经常会对用户的行为产生较大的影响，但当用户习惯新的业务流程后，带来的业务效果未必与功能初期上线的结果一致，即长期AB测试结果与短期AB测试结果不统一，AB测试准确率较差。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的AB测试方法、装置、计算机设备及介质，能够提高AB测试的测试效率，且保证AB测试结果的长期效应与短期效应的一致性。

本发明的第一方面提供一种基于人工智能的AB测试方法，所述方法包括：

采集用户多维度特征数据并对所述多维度特征数据进行数据清洗得到多维度标准数据；

根据初始流量分配执行AB测试并获取AB测试的功效指标值；

基于所述初始流量分配对应的多维度标准数据及所述功效指标值训练第一xgboost模型，并根据所述第一xgboost模型输出的预测结果计算得到第一输出结果；

根据所述第一输出结果对所述初始流量分配进行更新得到第一流量分配，并基于所述第一流量分配对应的多维度标准数据训练第二xgboost模型，并根据所述第二xgboost模型输出的预测结果计算得到第二输出结果；

判断所述第二输出结果是否优于所述第一输出结果；

当确定所述第二输出结果优于所述第一输出结果时，迭代根据所述第二输出结果对所述第一流量分配进行更新得到第二流量分配，并基于所述第二流量分配对应的多维度标准数据训练第三xgboost模型，直至根据所述第三xgboost模型输出的预测结果计算得到的第三输出结果大于或者等于预设结果阈值时，停止所述第三xgboost模型的训练；

确定所述第三输出结果为AB测试的目标结果。

根据本发明的一个可选的实施例，所述根据初始流量分配执行AB测试并获取AB测试的功效指标值包括：

判断多维度标准数据的数据量；

根据预设数据量范围与流量分配比例之间的映射表确定与所述数据量对应的目标流量分配比例，作为所述初始流量分配；

按照所述初始流量分配切分所述多维度标准数据为第一多维度标准数据和第二多维度标准数据；

将所述第一多维度标准数据分配给A版本及将所述第二多维度标准数据分配给B版本并执行模拟测试过程；

获取模拟测试结束后的测试数据并根据所述测试数据计算功效指标值。