[发明专利]一种数据测试方法和相关装置

说明书

本申请实施例公开了一种数据测试方法和相关装置，至少涉及人工智能中的机器学习，通过包括多个指标的随机对照实验进行数据测试。根据前期的多个指标值和后期的综合指标值构建表征前期的多个指标与表征后期的一个综合指标之间的映射关系，通过一个综合指标体现多个指标的综合影响，不仅避免出现由于多个指标中既存在显著提升又存在显著下降导致的无法评价不同策略的情况，还可以体现目标策略作用于目标业务的后期影响，便于决定目标策略是否可以在实际中推广到目标业务中。由此，通过构建多个表征前期的指标与一个表征后期的综合指标的映射关系，不仅在实验决策时便于进行决策，还弥补了随机对照实验只能反映目标业务的前期影响的缺点。

技术领域

本申请涉及技数据处理技术领域，特别是涉及一种数据测试方法和相关装置。

背景技术

随机对照实验又称AB实验，指通过随机抽样方式，对AB实验使用不同的策略，通过比较产品特性、运营策略等，从而确定哪种策略更好的在线实验方法。具体步骤分为实验假设、实验设计、实验分析、实验决策。

其中，实验假设是通过数据分析对产品特性、基础功能、运营策略等方面产生数据洞察，形成因果假设。实验设计是确定衡量实验的指标，随机抽样选择实验样本，根据单一变量原则将实验样本分为实验组和对照组，实验组指被施予新的产品特性的用户群，对照组指维持产品原样的用户群。实验分析是实验上线后，经过一定实验周期，分别查看对照组和实验组对应的衡量指标，通过指标变化趋势确定实验效果。实验决策是针对于使用过策略的实验经过分析后被认为对产品指标有显著提升，则将策略作用到产品所有用户。

对于具体业务而言，在实验设计时会采用多个指标以便于更好的进行实验决策，但是在实验分析时经常出现多个指标中既存在显著提升又存在显著下降的情况，说明对应的策略对目标业务既有正面的影响，又有负面的影响，导致在实验决策时难以决定是否将对应的策略使用在业务中。

发明内容

为了解决上述技术问题，本申请提供了一种数据测试方法和相关装置，用于解决在实验决策时难以决定是否将对应的策略使用在业务中的问题。

本申请实施例公开了如下技术方案：

一方面，本申请提供一种数据测试方法，应用于包括多个指标的随机对照实验，所述随机对照实验用于测试目标策略作用于目标业务的效果，所述多个指标为根据所述目标业务确定的，包括：

获取所述目标业务的历史活跃数据；

根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；

根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；

根据所述映射关系测试所述目标策略。

另一方面，本申请提供一种数据测试装置，其特征在于，应用于包括多个指标的随机对照实验，所述随机对照实验用于测试目标策略作用于目标业务的效果，所述多个指标为根据所述目标业务确定的，所述装置包括：获取单元、确定单元、构建单元和测试单元；

所述获取单元，用于获取所述目标业务的历史活跃数据；

所述确定单元，用于根据所述历史活跃数据确定第一历史时段的多个指标值和第一历史时刻的综合指标值，所述第一历史时段的多个指标值对应于所述多个指标，所述第一历史时刻的综合指标值对应于综合指标，所述综合指标用于标识用户粘性，所述第一历史时段的结束时刻早于所述第一历史时刻；

所述构建单元，用于根据所述第一历史时段的多个指标值和所述第一历史时刻的综合指标值构建所述多个指标和所述综合指标的映射关系；