[发明专利]基于离散分组的数据统计方法、系统、设备及存储介质

说明书

本发明提供了基于离散分组的数据统计方法、系统、设备及存储介质，该方法包括：获得具有多个属性值的实时数据，基于实时数据中至少任意两项属性值的组合作为分组标签进行数据离散化，得到多个数据组；将数据组根据数据处理设备的数量进行循环分组到对应的数据处理设备；获得统计请求方发送的数据统计条件，向每个数据处理设备发送数据统计条件；将数据处理设备反馈的数据信息进行组合后作为数据统计结果输出。本发明能够提升程序的鲁棒性，避免流量峰值时的数据倾斜，并具有完备的状态管理，可以保证数据的精确一致。

技术领域

本发明涉及数据统计领域，具体地说，涉及基于离散分组的数据统计方法、系统、设备及存储介质。

背景技术

大数据情景下的实时数据统计是建设实时数仓体系的一个重要组成部分，无论是应用的业务系统展示还是应用的分析系统进行实时标签分析，实时汇总统计都是一个重要的技术场景，所以必须要保证大数据实时汇总统计程序的鲁棒性和灵活性。

而对于集群系统，一般缓存是分布式的，即不同节点负责一定范围的缓存数据。通常把缓存数据分散度不够，导致大量的缓存数据集中到了一台或者几台服务节点上，称为数据倾斜。一般来说数据倾斜是由于负载均衡实施的效果不好引起的。

因此，本发明提供了一种基于离散分组的数据统计方法、系统、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于离散分组的数据统计方法、系统、设备及存储介质，克服了现有技术的困难，能够提升程序的鲁棒性，避免流量峰值时的数据倾斜，并具有完备的状态管理，可以保证数据的精确一致。

本发明的实施例提供一种基于离散分组的数据统计方法，包括以下步骤：

S110、获得具有多个属性值的实时数据，基于实时数据中至少任意两项属性值的组合作为分组标签进行数据离散化，得到多个数据组；

S120、将所述数据组根据数据处理设备的数量进行循环分组到对应的所述数据处理设备；

S130、获得统计请求方发送的数据统计条件，向每个所述数据处理设备发送数据统计条件；

S140、将所述数据处理设备反馈的数据信息进行组合后作为数据统计结果输出。

优选地，所述步骤S110中将具有相同分组标签的实时数据分到同一数据组。

优选地，所述步骤S120中，将所述数据组均匀分配到所述数据处理设备中。

优选地，所述数据处理设备是服务器、数据存储单元、云储存单元中的任意一项。

优选地，所述步骤S140中，所述数据统计条件为所述实时数据中一个属性值或者多个属性值的组合。

优选地，所述步骤S140中，包括：

每个所述数据处理设备根据所述数据统计条件进行搜索，获得作为数据统计信息子集并反馈；

合并全部所述数据处理设备反馈的所述数据统计信息子集作为数据统计信息集合；

向所述统计请求方反馈所述数据统计信息集合。

优选地，所述实时数据是酒店运营数据，所述分组标签包括酒店名称和用户姓名。

本发明的实施例还提供一种基于离散分组的数据统计系统，用于实现上述的基于离散分组的数据统计方法，所述基于离散分组的数据统计系统包括：

数据离散模块，获得具有多个属性值的实时数据，基于实时数据中至少任意两项属性值的组合作为分组标签进行数据离散化，得到多个数据组；

循环分组模块，将所述数据组根据数据处理设备的数量进行循环分组到对应的所述数据处理设备；