[发明专利]一种数据统计方法及系统

权利要求书

1.一种数据统计方法，其特征在于，所述方法包括：

步骤1，获取业务数据；

步骤2，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中；

步骤3，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果；

步骤4，根据预设的展示方式输出所述统计结果；

所述数据库包括多个不同的所述统计对象、多个不同的所述统计规则和多个不同的所述统计维度，所述步骤1之前还包括如下步骤：

根据需求预先选择所述统计对象、所述统计规则和所述统计维度，所述统计对象为需要统计的目标，所述统计规则为具体的统计运算方法，所述统计维度为统计的方向和粒度；

所述步骤2的具体实现为：

持久化所述业务数据，并对所述业务数据设置对应的主题和标识码，获得所述持久数据，将所述持久数据存储到所述Kafka集群中，其中，所述主题与所述统计对象对应，所述标识码与所述统计维度和所述统计规则对应；

所述步骤3具体包括如下步骤：

步骤3.1，根据预设的所述统计对象确定所述主题，利用Spark技术读取与所述主题对应的所述持久数据，获得与所述持久数据对应的所述标识码；

步骤3.2，根据所述标识码确定所述统计规则和所述统计维度；

步骤3.3，根据所述统计规则和所述统计维度对所述持久数据进行运算，获得所述统计结果。

2.根据权利要求1所述的数据统计方法，其特征在于，所述步骤4的具体实现为：

持久化所述统计结果，将所述统计结果存储到所述数据库中，并将所述统计结果以所述预设的展示方式进行显示。

3.一种数据统计系统，其特征在于，所述系统包括：

获取模块，获取业务数据；

处理模块，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中；

统计模块，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果；

输出模块，根据预设的展示方式输出所述统计结果；

所述数据库包括多个不同的所述统计对象、多个不同的所述统计规则和多个不同的所述统计维度，所述系统还包括设置模块，所述设置模块具体用于：

根据需求预先选择所述统计对象、所述统计规则和所述统计维度，所述统计对象为需要统计的目标，所述统计规则为具体的统计运算方法，所述统计维度为统计的方向和粒度；

所述处理模块具体用于：

持久化所述业务数据，并对所述业务数据设置对应的主题和标识码，获得所述持久数据，将所述持久数据存储到所述Kafka集群中，其中，所述主题与所述统计对象对应，所述标识码与所述统计维度和所述统计规则对应；

所述统计模块的具体用于：

根据预设的所述统计对象确定所述主题，利用所述Spark技术读取与所述主题对应的所述持久数据，获得与所述持久数据对应的所述标识码；

根据所述标识码确定所述统计规则和所述统计维度；

根据所述统计规则和所述统计维度对所述持久数据进行运算，获得所述统计结果。

4.根据权利要求3所述的数据统计系统，其特征在于，所述输出模块具体用于：

持久化所述统计结果，将所述统计结果存储到所述数据库中，并将所述统计结果以所述预设的展示方式进行显示。