[发明专利]一种基于随机分流的A/B测试方法

说明书

本发明提供了一种基于随机分流的A/B测试方法，所述方法包括如下步骤：a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。本发明A/B测试方法能够科学地验证用户对产品不同的客户端页面倾向性，使选出的客户端页面更加合理。

技术领域

本发明涉及互联网技术领域，特别涉及一种基于随机分流的A/B测试方法。

背景技术

A/B测试是一种为同一个目标制定两个方案比如两个页面，让一部分用户使用一种方案，另一部分用户使用另一种方案，记录下用户的使用情况，筛选出更符合设计目标的方案。在实际操作过程之中往往设置单一变量进行多个方案并行测试，通过一定的筛选条件选出最理想的方案。

现有技术中A/B测试方法展现在用户面前的客户端页面只有一种方案，也就是说用户只能看到一种客户端页面版本，看不到与其对比的其他客户端页面版本的方案。现有技术由于A/B测试方法在用户面前展示的上述情况，往往会出现针对同一用户虽然对其中一种方案的客户端页面进行了访问点击，但是并不能确定该用户偏好于该方案，该用户仍然存在对另一种方案更加偏好的可能性，从而造成客户端页面系统测试的不精确性。

因此，为了解决上述问题，需要能够本能够科学地验证用户对不同的客户端页面倾向性，使选出的客户端页面更加合理的一种基于随机分流的A/B测试方法

发明内容

本发明的目的在于提供一种基于随机分流的A/B测试方法，所述方法包括如下步骤：

a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；

b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；

c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；

d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。

优选地，所述各个版本的每两个版本的客户端页面系统之间配置单一测试变量。

优选地，所述测试变量为客户端页面系统的可视化操作部件。

优选地，所述第一次分流为随机分流。

优选地，步骤d)中所述效果测试按照如下方法进行测试：

d1)计算不同组之间的测试平均效果估计值；

d2)根据计算得到的平均效果估计值，得到测试结果。

优选地，所述平均效果估计值通过计算，其中P为平均效果估计值，为第一组用户对第二组用户操作的测试变量的平均潜在值，为第二组用户相对于第一组用户操作的测试变量的平均潜在值。

优选地，所述第一组用户对第二组用户操作的测试变量的平均潜在值通过如下方式计算：

其中N₁为第一组用户的数目，Y_1i为第一组用户中第i个用户对第二组用户操作的测试变量的潜在值。

优选地，所述第二组用户对第一组用户操作的测试变量的平均潜在值通过如下方式计算：