[发明专利]个性化推荐系统的分布式A/B测试方法、系统及视频推荐系统

说明书

技术领域

本发明涉及视频播放技术领域，特别是涉及一种个性化推荐系统的分布式A/B测试方法、系统及视频推荐系统。

背景技术

中国专利105913145 A公开了一种基于数据驱动的A/B测试方法，其采用的A/B测试设计是采用基于数据驱动基于模块化的测试，多种组合情况，需要构建多种模块，测试系统开发量和系统构建比较复杂，随着测试用例的增加，系统维护的成本也慢慢的增加，即对多组合情况测试支持不好。同时对应反馈的数据统计设计不够灵活，只能针对于模块为单位进行编码统计，即版本组合整体情况进行统计和效果测试，无法内部细节难以进行测试对比，即难以找出版本组合之间是因为那个具体流程中的方法导致其衡量指标的下降，查询问题细节还需要再次进行A/B测试，无形中由于设计的不合理，增加了工作量。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种个性化推荐系统的分布式A/B测试方法和装置，可以清楚的知道系统或模块改变After/Before的整体效果和模块内部各个流程的效果变化情况。

为实现本发明的目的所采用的技术方案是：

一种个性化推荐系统的分布式A/B测试方法，包括，

数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；

数据在模块内或系统内进行流程间再分流，再分流同时在数据上增加对应流程的标识；

客户端采集用户行为点数据并与对应的带有模块或系统标识及流程标识的数据整合上传服务器。

所述的模块内或者系统内流程包括召回流程、配比流程、排序流程、和谐性处理流程。

所述的再分流步骤在配比流程中进行。

服务器对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。

一种个性化推荐系统的分布式A/B测试系统，包括

分流器，用以控制数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；

再分流器，用以控制数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；

日志追踪器，用以采集客户端用户的行为点数据并将其与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。

所述的模块内或者系统内的流程模块包括召回模块、配比模块、排序模块、和谐性处理模块，所述的再分流步骤在配比模块中进行。

还包括统计分析器，用以对对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。

一种具有所述的个性化推荐系统的分布式A/B测试装置的视频推荐系统。

与现有技术相比，本发明的有益效果是：

本发明的分流策略支持多维度多方法的分流实现，数据流程进行多维度多方法的反馈数据的跟踪，便于多维度多方法区分统计。分流同时记录流程信息，即同时记录流程中的维度使用的方法,即对应数据跟踪。对用户请求使用的数据进行数据打TAG，TAG的设计即为数据DNA，记录其是从哪个流量、哪个召回模型、哪个配比、哪个排序、哪个和谐性处理的方法编号产生的，然后通过行为点的类别打TAG，如展示、点击等通过日志把数据DNA透传回来，各个细节处处理均在数据上打下标识，后续可处理性强，可满足不同层级的分析需求。

附图说明

图1所示为本发明的个性化推荐系统的分布式A/B测试方法的数据分流流程架构图

图2所示为数据打标识的流程示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

个性化推荐系统从数据流程来看，包括召回模型、配比、排序、和谐性处理，对于每个流程模块都会存在很多版本或者方法，流程模块之间的组合情况也是成倍的增长，通过对各种方法组合进行效果对比测试，挑选出衡量指标比较好的方法，作为优化方向，成为个性化推荐系统快速找出迭代和优化方向重要手段。本发明可以支持多个版本组合和细节方法测试的A/B测试系统成为其解决方案。

如图所示，本发明的个性化推荐系统的分布式A/B测试方法，包括，

步骤101，数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；