[发明专利]灰度实验系统和方法

说明书

技术领域

本发明涉及产品测试技术，特别是涉及一种灰度实验系统和方法。

背景技术

灰度实验，也称为灰度发布，是指在黑与白之间，能够平滑过度的一种发布方式，例如，A/B Test（A/B测试）就是一种灰度发布方式。A/B Test是指的通过基准实验和一个变量改变的实验进行对比，来评估变量产生的效果的实验。所谓基准实验，就是让一部分用户继续用A，所谓变量改变的实验，就是让一部分用户开始用B，然后评估使用B所产生的效果，并逐步扩大范围，把所有用户都迁移到B上面。因此，灰度发布是对某一产品的发布逐步扩大使用群体范围的过程。

传统的灰度实验方法通常都是对样本指标的绝对差异进行评估，例如，当需要评估关键指标（Overall Evaluation Criterion，简称“OEC）M（如点击率）时，传统的灰度实验方法通常仅计算a实验（即基准实验）的样本均值或b实验（即一个变量改变的实验）的样本均值，根据这两个样本均值来评估实验是否达到预期目的。然而，传统的这种灰度实验方法，由于仅对样本指标的绝对差异进行评估，因此评估实验结果的准确性并不高。

发明内容

基于此，有必要针对上述评估实验结果的准确性不高的问题，提供一种评估更准确的灰度实验系统。

一种灰度实验系统，所述系统包括：信息输入模块，用于通过预设的用户界面获取输入的实验创建请求；数据处理模块，包括用于根据所述实验创建请求生成配置文件的配置文件生成模块和用于将所述配置文件同步至Web应用系统的数据同步模块；数据统计模块，用于根据预设的维度统计对应的样本指标，所述样本指标包括基准实验对应的第一关键指标和变量变化的实验对应的第二关键指标；指标评估模块，用于计算所述第一关键指标与第二关键指标的变化率的均值，根据所述均值生成指标评估区间。

此外，还有必要提供一种评估更准确的灰度实验方法。

一种灰度实验方法，包括以下步骤：通过预设的用户界面获取输入的实验创建请求；根据所述实验创建请求生成配置文件，并将所述配置文件同步至Web应用系统；根据预设的维度统计对应的样本指标，所述样本指标包括基准实验对应的第一关键指标和变量变化的实验对应的第二关键指标；计算所述第一关键指标与第二关键指标的变化率的均值，根据所述均值生成指标评估区间。

上述灰度实验系统和方法，通过计算第一关键指标与第二关键指标的变化率的均值，根据均值生成指标评估区间。由于变化率跟两个实验的差异有关，是相对稳定的指标，更适用于衡量变量变化的实验相对于基准实验的变化，因此所生成的指标评估区间能够用于更准确的评估实验结果。

附图说明

图1为一个实施例中的灰度实验系统的模块图；

图2为另一个实施例中的灰度实验系统的模块图；

图3为一个实施例中的灰度实验系统的应用场景示意图；

图4为用于创建实验的用户界面的示意图；

图5为包含小流量实验和灰度发布实验的多层实验框架图；

图6为一个实施例中的灰度实验方法的流程示意图；

图7为一个实施例中进行版本发布的流程示意图。

具体实施方式

如图1所示，在一个实施例中，一种灰度实验系统，包括信息输入模块10、数据处理模块20、数据统计模块30和指标评估模块40，其中：

信息输入模块10用于通过预设的用户界面获取输入的实验创建请求。

用户界面（即UI）可预先设置，通过用户界面可进行一些有关实验的设置，生成实验创建请求。进一步的，实验创建请求中包括实验类型、抽样方式、抽样比例、实验的起止时间和流量来源中的至少一种。其中，实验类型包括后台实验和前台UI实验等；抽样方式包括用户抽样和随机抽样；抽样比例可由用户输入，实验起止时间也可由用户设置；流量来源可通过选项的方式供用户选择。

数据处理模块20包括用于根据实验创建请求生成配置文件的配置文件生成模块210和用于将配置文件同步到Web应用系统的数据同步模块220。

在一个实施例中，配置文件中包括实验类型、抽样方式、抽样比例、实验的起止时间和流量来源中的至少一种。所述的配置文件是根据实验创建请求所生成的可为Web应用系统读取的数据格式的文件，Web应用系统可读取配置文件中的内容，获取用户设置的实验类型、抽样方式、抽样比例、实验的起止时间和流量来源等。