[发明专利]实时数据统计方法和装置

摘要

一种实时数据统计方法，包括以下步骤：将接收的实时数据写入数据库内存存储空间；当数据库内存存储空间中的数据存储量达到阈值时，将数据库内存存储空间中的数据作为文件批量顺序写入数据库磁盘存储空间；当数据库磁盘存储空间中的文件满足预设的文件合并条件时，将待合并文件中键相同的记录中的数据项进行统计汇总或取时间戳最新的数据项，将汇总得到的数据项与获取的时间戳最新的数据项组合成该键对应的新记录，在数据库磁盘存储空间中存储新记录形成的合并后的文件。上述方法减少了从数据库中读取数据的次数，从而减少了数据库读性能对实时数据统计系统的吞吐量和处理速度的影响。此外，还提供一种实时数据统计装置。

主权项

1.一种实时数据统计方法，应用于数据库存储系统，包括以下步骤：接收实时数据的写入请求，所述实时数据所包含的记录中的数据项分为需要进行统计汇总的数据项和不需要进行统计汇总的数据项；将所述实时数据写入数据库内存存储空间；当所述数据库内存存储空间中的数据存储量达到阈值时，将所述数据库内存存储空间中的数据作为文件批量顺序写入数据库磁盘存储空间；当所述数据库磁盘存储空间中的文件满足预设的文件合并条件时，合并待合并文件中键相同的记录得到新记录，在所述数据库磁盘存储空间中存储所述新记录形成的合并后的文件，其中，对同一键对应的记录进行合并的过程包括：对该键对应的记录中需要进行统计汇总的数据项进行统计汇总，取该键对应的时间戳最新的记录中的不需要进行统计汇总的数据项，将汇总得到的数据项与时间戳最新的不需要进行统计汇总的数据项组合成该键对应的新记录；所述统计汇总的计算类型包括计算次数、求和、取最大值、取最小值和去除重复值中的至少一种。