[发明专利]灰度实验系统和方法

权利要求书

1.一种灰度实验系统，其特征在于，所述系统包括：

信息输入模块，用于通过预设的用户界面获取输入的实验创建请求；

数据处理模块，包括用于根据所述实验创建请求生成配置文件的配置文件生成模块和用于将所述配置文件同步至Web应用系统的数据同步模块；

数据统计模块，用于根据预设的维度统计对应的样本指标，所述样本指标包括基准实验对应的第一关键指标和变量变化的实验对应的第二关键指标；

指标评估模块，用于计算所述第一关键指标与第二关键指标的变化率的均值，根据所述均值生成指标评估区间。

2.根据权利要求1所述的灰度实验系统，其特征在于，所述指标评估模块所生成的指标评估区间为：

[E(R)-zα/2Var(R)n,]]>E(R)+zα/2Var(R)n]]]>

其中，E(R)为第一关键指标与第二关键指标的变化率的均值，Var(R)是所述变化率的方差，z是正态分布的分位数，n为样本量。

3.根据权利要求1或2所述的灰度实验系统，其特征在于，所述配置文件中包括实验类型、抽样方式、抽样比例、实验的起止时间和流量来源中的至少一种。

4.根据权利要求3所述的灰度实验系统，其特征在于，所述系统还包括：

流量染色模块，用于根据所述配置文件中的抽样方式进行抽样，对抽取的Web应用请求分配实验号；

参数配置模块，用于获取Web应用请求，根据所述Web应用请求所对应的实验号动态配置预设的参数。

5.根据权利要求4所述的灰度实验系统，其特征在于，所述抽样方式包括用户抽样和随机抽样，所述用户抽样和随机抽样分别对应不同的优先级，且，所述用户抽样的优先级高于所述随机抽样的优先级；

所述流量染色模块用于先进行用户抽样，再在未命中实验的区间进行随机抽样。

6.根据权利要求5所述的灰度实验系统，其特征在于，所述流量染色模块用于进行用户抽样的抽样比例的计算公式为：P_a'=P_a，其中，P_a为设定的用户抽样比例；所述流量染色模块用于进行随机抽样的抽样比例的计算公式为：其中，P_b为设定的随机抽样比例，为所有的用户抽样的抽样比例之和，α为预设的cookie覆盖率。

7.根据权利要求3所述的灰度实验系统，其特征在于，所述数据处理模块还包括：流量控制模块，用于接收所述实验创建请求，根据所述实验创建请求中的抽样比例判断请求创建的实验是否有足够流量，若没有，则生成实验创建失败的结果，否则，生成实验创建成功的结果。

8.根据权利要求1所述的灰度实验系统，其特征在于，所述实验创建请求包括小流量实验创建请求和灰度发布实验创建请求；所述信息输入模块还用于判断所述指标评估区间是否在预设范围内，若是，则通过预设的用户界面获取输入的灰度发布实验创建请求；所述数据统计模块还用于根据所述灰度发布实验创建请求统计对应的线上指标。