[发明专利]一种数据统计方法及系统

说明书

本发明涉及一种数据统计方法及系统，所述方法包括：步骤1，获取业务数据；步骤2，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中；步骤3，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果；步骤4，根据预设的展示方式输出所述统计结果。本发明的技术方案能够大幅提高统计方法及系统的通用性和实时性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据统计方法及系统。

背景技术

随着大数据时代的来临，数据以不可思议的速度迅猛增长，为了对大量数据进行有效管理，需要对数据进行统计。统计是对某一现象相关数据的搜集、整理、计算、分析、解释、表述等活动，利用统计，不仅可以对事物本身进行定量定性分析，发现事物的内在规律，还可以对不同事物进行有联系的综合性分析，发现事物之间的内在联系。目前，常用的统计方法通常针对不同的用户定制对应的统计逻辑，设置对应的统计规则，根据该统计规则对业务数据进行统计。一方面，统计方法是根据不同用户的具体需求设计开发出来的，不能复用；另一方面，统计工作往往在业务数据产生后才开展，例如业务数据产生后，系统每隔标定时间统计一次业务数据，实时性差。

发明内容

为了提高大数据统计方法及系统的通用性和实时性，本发明提供一种数据统计方法及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供了一种数据统计方法，所述方法包括：

步骤1，获取业务数据。

步骤2，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中。

步骤3，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果。

步骤4：根据预设的展示方式输出所述统计结果。

第二方面，本发明提供了一种数据统计系统，所述系统包括：

获取模块，获取业务数据。

处理模块，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中。

统计模块，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果。

输出模块，根据预设的展示方式输出所述统计结果。