[发明专利]基于配置驱动的流量复用AB测试方法及系统

说明书

本发明公开了一种基于配置驱动的流量复用AB测试方法及系统，该方法包括：业务人员根据业务需求在AB测试系统配置或更新实验相关信息，实验相关信息包括：实验基本信息、实验层信息、实验参数信息、实验分桶信息和实验指标信息；根据实验相关信息生成或更新策略配置信息；将策略配置信息同时传递或者更新至策略缓存模块和消息中间件；业务系统通过实验ID作为唯一标识，监听消息中间件，获取并解析监听得到的策略配置信息；业务系统通过对流量请求中携带的用户ID进行哈希取模处理获得哈希ID，根据哈希ID得到对应流量用户的实验策略。本发明能够更加轻量和灵活地满足业界多业务复杂系统的AB测试需求。

技术领域

本发明涉及计算机测试领域，尤其涉及一种基于配置驱动的流量复用AB测试方法及系统。

背景技术

随着互联网技术的发展，用户对产品的要求也变得越来越高，为了更好的改善用户对产品的体验，产品提供商需要不断地更新迭代产品以满足用户日益增长的用户高质量体验要求来增强用户对产品的粘度和活跃度，这种高质量的用户体验譬如个性化推荐、高效搜索、用户UI等，并且通常由于公司业务的复杂性，多个业务系统的同时运营也为产品迭代优化增加了难度。为此AB测试技术应运而生，所谓AB测试技术，简单来讲就是产品某次迭代有两个方案A和B，选择一部分人使用A方案，另一部分人使用B方案，通过日志埋点和统计学分析来观察哪个方案更优。

由于每个公司业务的复杂性，往往不同业务有着不同的业务系统做支撑，所以诸多业务的AB测试需要有一个统一的系统来做运营。但随着公司业务复杂性地不断增加，AB测试系统的线上压力会呈指数级增长，因此如何构建一个轻量高效的AB测试系统架构也成为了业界讨论的核心问题。此外，由于用户流量是有限的，在众多业务中除了要保持不同业务的流量复用，还要保持相似业务的流量互斥；在产品快速迭代互联网时代，如何短期内复用流量快速完成产品迭代也成了业界亟待解决的问题。

发明内容

本发明提供了一种基于配置驱动的流量复用AB测试方法及系统，用以解决业务复杂性高AB测试系统压力大的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于配置驱动的流量复用AB测试方法，包括以下步骤：

业务人员根据业务需求在AB测试系统配置或更新实验相关信息，实验相关信息包括：实验基本信息、实验层信息、实验参数信息、实验分桶信息和实验指标信息；

根据实验相关信息生成或更新策略配置信息；

将策略配置信息同时传递或者更新至策略缓存模块和消息中间件；

业务系统通过实验ID作为唯一标识，监听消息中间件，获取并解析监听得到的策略配置信息；

业务系统通过对流量请求中携带的用户ID进行哈希取模处理获得哈希ID，根据哈希ID得到对应流量用户的实验策略。

优选地，实验基本信息，包括：实验ID、实验名称、实验描述和实验所占流量；

实验层信息，包括：实验层名称、实验层场景、实验层区域和实验层剩余流量；

实验参数信息，包括：参数名称、参数类型、参数值和参数描述；

实验分桶信息，包括：分桶名称、分桶描述和分桶流量占比；

实验指标信息，包括：业务相关计算指标，包括留存率、页面浏览量和独立访问数。

优选地，策略配置信息的生成和更新的步骤如下：

将策略配置信息初始化成由第一数量个哈希ID拼接组成，每一个哈希ID均包含了分桶名称和参数列表；分桶名称和参数列表一一对应；