[发明专利]一种数据统计方法及系统

说明书

技术领域

本发明涉及大数据处理技术领域，特别涉及一种数据统计方法及系统。

背景技术

目前，分布式集群已经成为国内外云计算研究的热点。分布式集群具有 良好的读写能力，能够支持大数据量的表格，且适用于简单业务、数据量巨 大的在线数据库及数据仓库。由于分布式集群不适合作业务数据库，一般业 务数据库往往由关系型数据库来担任，分布式集群负责汇集各个关系型数据 库中的数据。对于分布式集群这样的大数据平台，数据量的情况是一项重要 指标。

现有技术中，可以通过MapReduce程序，遍历大数据平台中存储的所有 数据，并利用时间戳字段对遍历到的满足该时间戳字段的数据进行统计，以 实现对数据量或数据总量的统计。

然而，对于大数据平台中存储的数据量非常大，表格的数量也非常多， 因此，统计效率较低，且需要耗费大量的计算、网络资源。

发明内容

有鉴于此，本发明提供一种数据统计方法及系统，以实现对大数据平台 中数据量的统计。

第一方面，本发明提供了一种数据统计方法，预先创建数据抽取记录表， 以及预先设置目标条件，包括：

监测与大数据平台相连接的至少一个关系型数据库；

在满足所述目标条件时，将具有增量数据的关系型数据库中的增量数据 抽取到大数据平台中；

更新所述数据抽取记录表；

在获取到统计指令时，根据所述数据抽取记录表响应所述统计指令。

优选地，所述满足所述目标条件，包括：到达设定时间段，和/或，所述 至少一个关系型数据库中任意一个或多个关系型数据库中具有目标数据量的 增量数据。

优选地，所述数据抽取记录表包括：rowkey项以及该rowkey项对应的 数据量；其中，所述rowkey项包括：{表名字}、{表名字}间隔符{时间}、{时 间}间隔符{表名字}中的任意一项或多项。

优选地，所述根据所述数据抽取记录表响应所述统计指令，包括：根据 所述数据抽取记录表中的rowkey项，统计至少一个表名字的数据量、至少一 个表名字在第一时间段内的数据量、在第二时间段内至少一个表名字的数据 量，以实现对所述统计指令的响应。

优选地，执行所述将目标关系型数据库中的增量数据抽取到大数据平台 中的工具包括：Sqoop工具、Kettle工具、Flume工具或Chuwa工具。

第二方面，本发明还提供了一种数据统计系统，包括：

创建单元，用于创建数据抽取记录表，并将所述数据抽取记录表发送给 更新单元；

存储单元，用于存储目标条件，并将所述目标条件发送给抽取工具；

监测单元，用于监测与大数据平台相连接的至少一个关系型数据库，并 将监测信息发送给所述抽取工具；

所述抽取工具，用于在满足所述目标条件时，将具有增量数据的关系型 数据库中的增量数据抽取到大数据平台中，并将抽取信息发送给所述更新单 元；

所述更新单元，用于更新所述数据抽取记录表，并将更新后的所述数据 抽取记录表发送给响应单元；

所述响应单元，用于在获取到统计指令时，根据所述数据抽取记录表响 应所述统计指令。

优选地，所述满足所述目标条件，包括：到达设定时间段，和/或，所述 至少一个关系型数据库中任意一个或多个关系型数据库中具有目标数据量的 增量数据。

优选地，所述数据抽取记录表包括：rowkey项以及该rowkey项对应的 数据量；其中，所述rowkey项包括：{表名字}、{表名字}间隔符{时间}、{时 间}间隔符{表名字}中的任意一项或多项。

优选地，所述响应单元，具体用于根据所述数据抽取记录表中的rowkey 项，统计至少一个表名字的数据量、至少一个表名字在第一时间段内的数据 量、在第二时间段内至少一个表名字的数据量，以实现对所述统计指令的响 应。

优选地，所述抽取工具包括：Sqoop工具、Kettle工具、Flume工具或 Chuwa工具。