[发明专利]一种基于OLTP的智能数据统计及订阅系统及方法

说明书

本发明公开了一种基于OLTP的智能数据统计及订阅系统及方法，涉及数据应用技术领域。本发明包括大数据统计及订阅系统以及数据仓库存储系统；大数据统计及订阅系统包括引擎规则配置模块、邮件订阅配置模块、智能邮件订阅模块以及数据聚合服务引擎；数据仓库存储系统包括基础数据仓库和智能调度引擎；基础数据仓库分为基础层、KN1层、KN2层、PL层。本发明为企业提供高效快速的数据服务，进而提高业务决策的效率；系统提供了每小时维度的原始数据采集，提供基于分钟粒度的数据调度机制，并提供自定义维度的邮件结果调度，实现了效率极大的提升，极大的简化了内部流程的周期。

技术领域

本发明属于数据应用技术领域，特别是涉及一种基于OLTP的智能数据统计及订阅系统及方法。

背景技术

因装修行业数据分析需要及公司内部创新决策需要，需要对关联的数据进行多维度的聚合对比分析，形成数据结果，并通知到相关的技术决策人。传统的技术方案主要靠人工处理为主，不仅耗时耗力，如果数据量超过一定的数量级，人工很难进行处理，而且容易出现数据错乱；在装修行业数字化转型的大趋势下，营销决策部门对数据的需求越来越高，而且有较多时效性的要求，通过人工的方式不能满足这类核心诉求。

现有技术具有以下不足：对于大数据量的统计分析，比如超过几千万的流量数据，传统人工方式无法支持，需要编写代码脚本来实现，而且复用率很低；对于多维度的系统对比分析，因复杂度高，传统人工通过Excel的方式很难进行关联统计；很多基础的OLTP数据是实时增量出来的，传统人工处理无法保证时效性；关于结果集的订阅和发送，主要以人工发送邮件为主，因为数据的维度和分析要求不同，且种类繁多，增加了额外的运营成本。

发明内容

本发明提供了一种基于OLTP的智能数据统计及订阅系统及方法，解决了以上问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明的一种基于OLTP的智能数据统计及订阅系统及方法，包括大数据统计及订阅系统以及数据仓库存储系统；所述大数据统计及订阅系统包括引擎规则配置模块、邮件订阅配置模块、智能邮件订阅模块以及数据聚合服务引擎；所述数据仓库存储系统包括基础数据仓库和智能调度引擎；

所述基础数据仓库分为基础层、KN1层、KN2层、PL层；

所述擎规则配置模块和邮件订阅配置模块分别用于配置员对大数据统计及订阅系统进行引擎规则的配置和邮件订阅的配置；所述智能邮件订阅模块用于实现邮件订阅的配置，提供业务订阅人员进行实时查看报表以及接受邮件订阅的结果，并获取来自数据聚合服务引擎的事件订阅数据；所述数据聚合服务引擎用于提供各种不同维度的实时聚合结果，经过数据仓库存储系统中的智能调度引擎后，数据已经被处理成基础层、KN1层、KN2层、PL层四种业务粒度的统计结果集；

所述智能调度引擎用于负责基础层、KN1层、KN2层、PL层的数据计算逻辑，系统通过定时任务启动，所有的定时任务配置由管理员进行配置，支持包括定时启动、延迟启动，多时间周期循环执行的模式。

进一步地，所述基础层主要进行原始数据的存储，数据的来源为通过Storm处理的每小时流量总表，采用大宽列表存储，格式为k1:v1，K2：v2，k3：v3....。

进一步地，所述KN1层用于实现基础的流量映射维度数据，包含Kn1_traf_event事件流量、非事件流量、kn1_traf_dimension、kn1_traf_app_detail；所述Kn1_traf_event事件流量包括点击、追踪、曝光；所述非事件流量具体为kn1_traf_detail,记录停留时间；所述kn1_traf_dimension具体为非app流量渠道标签；所述kn1_traf_app_detail具体为app流量记录停留时间。