[发明专利]独立数据计算方法及装置

说明书

本发明提供了一种独立数据计算方法及装置，该方法应用于分布式数据服务器，首先获取目标独立数据，然后将目标独立数据进行分组，得到至少两个独立数据分组。之后确定各独立数据分组中各类型的独立数据的条数，并依次确定为目标子数量，然后根据目标子数量，确定目标独立数据的总数量。可见，本方案中，通过将待计算数量的独立数据进行分组拆分，然后由不同的分布式服务器进行分别计数，此时，无需将所有数据汇总到一处进行去重计算，减少了各分布式服务器的数据处理数量以及数据占用资源，最后将分组计数后的独立数据的数量进行汇总，得到目标独立数据的总量，使得整体数据的计算时间缩短，提高了数据处理速度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种独立数据计算方法及装置。

背景技术

随着科技的不断发展，用户能够通过访问网页来获取更多的信息，随之，网络数据量也越来越大。

目前，在对数据库中某一维度的数据计算独立数据时，通常选用预设的计算函数实现，如在sqlserver、mysql等关系数据库中，可以使用如下查询语句直接计算独立数据：select count(distinct filed_name)fromtable_name，同样，在分布式数据库中也有对应的函数。

然而，发明人发现，上述的函数是将独立数据进行汇总到一处存储介质后进行去重计算。然而，随着数据量的日益增加，目前的计算方式会消耗较多的存储资源以及要求后台服务器具备更高的数据处理能力，甚至，会因为数据量过大导致计算数据失败。因此，如何提供一种独立数据计算方法，能够降低对服务器计算能力的要求以及提高数据处理速度是本领域技术人员亟待解决的一大技术问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的技术方案：

一种独立数据计算方法，应用于分布式数据服务器，包括：

获取目标独立数据；

将所述目标独立数据进行分组，得到至少两个独立数据分组，不同所述独立数据分组中包含的所述独立数据的所属类型不相同；

确定各所述独立数据分组中各类型的所述独立数据的条数，并依次确定为每个类型的独立数据所对应的目标子数量；

根据各类型的独立数据所对应的所述目标子数量，确定所述目标独立数据的总数量。

可选的，所述将所述目标独立数据进行分组，包括：

确定所述目标独立数据中各独立数据的类型标识；

按照预设数据类型标识划分规则，将所述目标独立数据划分为多个独立数据分组。

可选的，所述根据各类型的独立数据所对应的所述目标子数量，确定所述目标独立数据的总数量，包括：

确定各类型的所述独立数据所对应的所述目标子数量的加和为所述目标独立数据的总数量。

可选的，所述按照预设数据类型标识划分规则，将所述目标独立数据划分为多个独立数据分组，包括：

确定具有相同类型标识的所述独立数据为目标子独立数据；

确定至少一个所述目标子独立数据为一个所述独立数据分组。

一种独立数据计算装置，应用于分布式数据服务器，包括：

获取模块，用于获取目标独立数据；

划分模块，用于将所述目标独立数据进行分组，得到至少两个独立数据分组，不同所述独立数据分组中包含的所述独立数据的所属类型不相同；

第一确定模块，用于确定各所述独立数据分组中各类型的所述独立数据的条数，并依次确定为每个类型的独立数据所对应的目标子数量；