[发明专利]一种海量数据下数据实时统计的方法

权利要求书

1.一种海量数据下数据实时统计的方法，步骤如下：

1)数据接收服务器把从终端接收到的数据传给数据处理服务器处理；

2)数据处理服务器对原始的信号进行数据库存储；

3)数据处理服务器进行信号统计与分析；

其特征在于，所述的步骤3)具体如下：

3.1)区别信号的数据类型，识别为数值类型和非数值类型；

3.2)根据不同的固定时长对所述的数据库表进行逐级统计，并存储成新的数据库表：

对于数值类型的信号，统计固定时长内数值类型的各信号的最大值、最小值、平均值，并存储到数值类型的数据库表中；

对于非数值类型的信号，统计固定时长内非数值类型的各信号各个状态出现的次数、变化的频次，并存储到非数值类型的数据库表中。

2.根据权利要求1所述的海量数据下数据实时统计的方法，其特征在于，所述的步骤3.2)具体为：

对于数值类型的信号，统计每一秒数值类型的各信号的最大值、最小值、平均值，并存储到秒级数值类型的数据库表中；

对于非数值类型的信号，统计每一秒非数值类型的各信号各个状态出现的次数、变化的频次，并存储到秒级非数值类型的数据库表中。

3.根据权利要求2所述的海量数据下数据实时统计的方法，其特征在于，所述的步骤3)进一步包括：

3.3)数据库后台通过定时触发机制，每分钟对步骤3.2)存储的秒级数值类型的数据库表中的各秒的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到分钟级数值类型的数据库表中；

每分钟对步骤3.2)存储的秒级非数值类型的数据库表中的各秒的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到分钟级非数值类型的数据库表中。

4.根据权利要求3所述的海量数据下数据实时统计的方法，其特征在于，所述的步骤3)进一步包括：

3.4)每小时对步骤3.3)存储的分钟级数值类型的数据库表中的各分钟的数据类型的各信号的最大值、最小值、平均值进行统计，并存储到小时级数值类型的数据库表中；

每小时对步骤3.3)存储的分钟级非数值类型的数据库表中的各分钟的非数据类型的各信号各个状态出现的次数、变化的频次进行统计，并存储到小时级非数值类型的数据库表中。

5.根据权利要求1所述的海量数据下数据实时统计的方法，其特征在于，所述的数据库采用分库架构，采用至少一个分数据库对数据进行分库存储。

6.根据权利要求5所述的海量数据下数据实时统计的方法，其特征在于，所述的数据库的物理表采用分表架构，采用至少一个分物理表对各数据库表按固定周期进行分表存储。

7.根据权利要求6所述的海量数据下数据实时统计的方法，其特征在于，所述的分物理表采用分区架构，采用至少一个分数据区对分物理表按固定时间段进行分区存储。

8.根据权利要求4所述的海量数据下数据实时统计的方法，其特征在于，所述的数据库的物理表采用分表架构，秒级数据库表、分钟级数据库表、小时级数据库表均采用一个月一张表的形式进行存储。

9.根据权利要求8所述的海量数据下数据实时统计的方法，其特征在于，各数据库表的各月表以天单位，进行分区存储，每天的数据为一个分区。

10.根据权利要求1所述的海量数据下数据实时统计的方法，其特征在于，定义欲查询的数据的时间特征应对应的数据库表，查询步骤如下：

A)判断欲查询的数据的信号特征，确定查询的数据库表的类型；

B)判断欲查询的数据的时间特征，根据预先定义的对应关系，确定应查询的数据库表；

C)数据处理服务器到对应的数据库表中进行查询，查询出所有满足条件的数据。