[发明专利]一种数据统计方法及系统

权利要求书

1.一种数据统计方法，其特征在于，预先创建数据抽取记录表，以及预 先设置目标条件，包括：

监测与大数据平台相连接的至少一个关系型数据库；

在满足所述目标条件时，将具有增量数据的关系型数据库中的增量数据 抽取到大数据平台中；

更新所述数据抽取记录表；

在获取到统计指令时，根据所述数据抽取记录表响应所述统计指令。

2.根据权利要求1所述的方法，其特征在于，

所述满足所述目标条件，包括：到达设定时间段，和/或，所述至少一个 关系型数据库中任意一个或多个关系型数据库中具有目标数据量的增量数据。

3.根据权利要求1所述的方法，其特征在于，

所述数据抽取记录表包括：rowkey项以及该rowkey项对应的数据量； 其中，所述rowkey项包括：{表名字}、{表名字}间隔符{时间}、{时间}间隔 符{表名字}中的任意一项或多项。

4.根据权利要求3所述的方法，其特征在于，所述根据所述数据抽取记 录表响应所述统计指令，包括：根据所述数据抽取记录表中的rowkey项，统 计至少一个表名字的数据量、至少一个表名字在第一时间段内的数据量、在 第二时间段内至少一个表名字的数据量，以实现对所述统计指令的响应。

5.根据权利要求1-4中任一所述的方法，其特征在于，

执行所述将目标关系型数据库中的增量数据抽取到大数据平台中的工具 包括：Sqoop工具、Kettle工具、Flume工具或Chuwa工具。

6.一种数据统计系统，其特征在于，包括：

创建单元，用于创建数据抽取记录表，并将所述数据抽取记录表发送给 更新单元；

存储单元，用于存储目标条件，并将所述目标条件发送给抽取工具；

监测单元，用于监测与大数据平台相连接的至少一个关系型数据库，并 将监测信息发送给所述抽取工具；

所述抽取工具，用于在满足所述目标条件时，将具有增量数据的关系型 数据库中的增量数据抽取到大数据平台中，并将抽取信息发送给所述更新单 元；

所述更新单元，用于更新所述数据抽取记录表，并将更新后的所述数据 抽取记录表发送给响应单元；

所述响应单元，用于在获取到统计指令时，根据所述数据抽取记录表响 应所述统计指令。

7.根据权利要求6所述的数据统计系统，其特征在于，

所述满足所述目标条件，包括：到达设定时间段，和/或，所述至少一个 关系型数据库中任意一个或多个关系型数据库中具有目标数据量的增量数据。

8.根据权利要求7所述的数据统计系统，其特征在于，

所述数据抽取记录表包括：rowkey项以及该rowkey项对应的数据量； 其中，所述rowkey项包括：{表名字}、{表名字}间隔符{时间}、{时间}间隔 符{表名字}中的任意一项或多项。

9.根据权利要求8所述的数据统计系统，其特征在于，所述响应单元， 具体用于根据所述数据抽取记录表中的rowkey项，统计至少一个表名字的数 据量、至少一个表名字在第一时间段内的数据量、在第二时间段内至少一个 表名字的数据量，以实现对所述统计指令的响应。

10.根据权利要求6-9中任一所述的数据统计系统，其特征在于，

所述抽取工具包括：Sqoop工具、Kettle工具、Flume工具或Chuwa工 具。