[发明专利]一种数据统计方法、装置及终端设备

说明书

本发明适用于计算机技术领域，提供了一种数据统计方法、装置及终端设备，其应用于存储有待统计目标表的分布式数据库，待统计目标表的表数据存储在分布式数据库的N个数据节点中，数据统计方法包括：获取到数据统计指令时，在N个数据节点中提取满足第一检索条件的表数据作为目标数据；表数据包括行数标签、字段信息和属性标签；按照预设计算规则对目标数据进行处理，获得通用数据；根据通用数据和数据统计指令生成数据统计SQL语句，在任一个数据节点执行数据统计SQL语句，完成数据统计指令。通过本发明可以解决分布式数据库中，数据库原生的统计函数使用问题，提高数据统计效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据统计方法、装置及终端设备。

背景技术

在大数据时代，数据也越来越被政府或企业所使用，单节点的数据库已经很难满足大数据背景下的存储和计算要求，多节点的分布式数据库的应用越来越广泛。

如果对单节点数据库中存储的数据进行如方差、标准差的数据统计，可以使用数据库原生的统计函数直接进行统计得到结果。其中，数据库原生的统计函数只应用于全表统计的数据环境，因此需要待统计数据存储在同一个数据节点。

而在分布式数据库中，同一个表的数据分布存储在不同的数据节点，无法使用数据库原生的统计函数进行计算和数据统计。对此，目前常见的技术方案是，将全表数据迁移到一个节点上再使用数据库原生的统计函数，但这种技术方案降低了数据统计效率。

发明内容

本发明的主要目的在于提出一种数据统计方法、装置及终端设备，以解决现有技术中在多节点的分布式数据库的基础上，进行样本方差、样本标准差、总体方差、总体标准差的计算时，会降低数据统计效率的问题。

为实现上述目的，本发明实施例第一方面提供一种数据统计方法，应用于存储有待统计目标表的分布式数据库，待统计目标表的表数据存储在分布式数据库的N个数据节点中，所述数据统计方法包括：

获取到数据统计指令时，在所述N个数据节点中提取满足第一检索条件的表数据作为目标数据；所述表数据包括行数标签、字段信息和属性标签；

按照预设计算规则对所述目标数据进行处理，获得通用数据；

根据所述通用数据和所述数据统计指令生成数据统计SQL语句，在任一个所述数据节点执行所述数据统计SQL语句，完成所述数据统计指令；

其中，N为正整数。

结合本发明实施例第一方面，本发明实施例第一实施方式中，获取到数据统计指令时，在所述N个数据节点中提取满足第一检索条件的表数据作为目标数据，包括：

遍历所述分布式数据库的N个数据节点；

遍历第n个所述数据节点时，若第n个所述数据节点的表数据的属性标签满足所述第一检索条件，则所述表数据为满足第一检索条件的表数据；

其中，n为小于或者等于N的正整数。

结合本发明实施例第一方面，本发明实施例第二实施方式中，按照预设计算规则对所述目标数据进行处理，获得通用数据，包括：

获取第n个所述数据节点的目标数据时，根据预设计算规则选择预设类型字段信息，并根据所述行数标签和预设类型字段信息计算基于第n个所述数据节点的目标数据的行数总和、预设类型字段信息总和；

根据基于N个数据节点的目标数据的行数总和、预设类型字段信息总和计算基于N个数据节点的目标数据的字段均值；

根据所述基于N个数据节点的目标数据的行数总和、预设类型字段信息总和及所述字段均值，对基于N个数据节点的目标数据的每个预设类型字段信息进行中间值计算，获得行数据中间值，并将所述行数据中间值进行总和；

将总和后的行数据中间值作为所述通用数据。