[发明专利]一种海量数据下数据实时统计的方法

说明书

本发明涉及一种海量数据下数据实时统计的方法，步骤如下：1）数据接收服务器把从终端接收到的数据传给数据处理服务器处理；2）数据处理服务器对原始的信号进行数据库存储；3）数据处理服务器进行信号统计与分析；所述的步骤3）具体如下：3.1）区别信号的数据类型，识别为数值类型和非数值类型；3.2）对于数值类型的信号，统计固定时长内数值类型的各信号的最大值、最小值、平均值，并存储到数值类型的数据库表中；对于非数值类型的信号，统计固定时长内非数值类型的各信号各个状态出现的次数、变化的频次，并存储到非数值类型的数据库表中。采用本发明，大大减少了待查询的原始数据量，很大程度上提升了报表查询的速度和人机交互体验。

技术领域

本发明涉及一种数据采集统计方法，更具体地说，涉及一种海量数据下数据实时统计的方法。

背景技术

信号采集系统中，车辆终端上报的信号量频率很高，以毫秒级的频率进行上报，单终端上报就能达到万条/秒，随着车辆数的增加，数据上报量更是巨大。面对如此大的数据量，一些如报表展示等对数据实时查询要求较高的场合，传统的数据查询方式必然存在查询速度慢，用户体验差等问题。

中国发明专利申请200610027566.9公开了一种海量数据统计方法，该方法建有MT、MC、MO三个数据库表，并在三个表中分别建立五个数据表空间。三个表分别分成91个分区，用于保存连续90天的数据。数据的查询和统计分析可根据日期计算要查询的分区号，根据分区号查找指定分区的数据。由于每个分区的数据量只相当于总数据的九十分之一，因此查询和保存数据的速度得到了提高。多表关联改为单表查询提高了查询速度。查询结果的差集和交集技术使需处理的数据量减少，从而提高了统计性能。

上述专利所述的技术方案，即使把数据库分为多个数据库表，并对数据库表进行分区，但每个分区保存依然是原始数据，如果表内的数据量巨大，其效果仍然与没有分表、没有分区的现有技术一样，查询速度慢，查询时间长。而且采用限制数据库表的数量的方式进行查询速度的提升，只适用于对不需要保存历史数据的领域，适用范围小，实用性有限。

中国发明专利ZL200910081509.2公开了一种海量数据查询方法：A）对海量数据实体表按设定的时间间隔进行分区；B）建立所述实体表中属性名称的二维统计表，其中一维表示设定的时间区间内的各个时间间隔，另一维表示属性名称的属性列中的属性数据，统计表中的内容表示在某个时间间隔内存在某个属性数据的实体表的名称；C）查询时，若查询条件中包括经统计的属性名称，则根据该属性名称的统计表和查询条件中设定的时间区间获得在该时间区间内的实体表分区的集合；D）根据该集合缩小海量数据查询范围再进行查询。

上述专利所述的技术方案，即使把数据库的实体表进行分区，但每个分区保存依然是原始数据，如果分区内的数据量巨大，其效果仍然与没有分表、没有分区的现有技术一样，查询速度慢，查询时间长。采用分区的手段，缩小查询范围，适用于数据量相对稳定的领域，适用范围小。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能在海量数据下进行数据的实时汇总统计，使得前端报表展现能得到最快的反应速度的海量数据下数据实时统计的方法。

本发明的技术方案如下：

一种海量数据下数据实时统计的方法，步骤如下：

1）数据接收服务器把从终端接收到的数据传给数据处理服务器处理；

2）数据处理服务器对原始的信号进行数据库存储；

3）数据处理服务器进行信号统计与分析；

所述的步骤3）具体如下：

3.1）区别信号的数据类型，识别为数值类型和非数值类型；

3.2）对于数值类型的信号，统计固定时长内数值类型的各信号的最大值、最小值、平均值，并存储到数值类型的数据库表中；