[发明专利]海量数据存储和检索方法

摘要

本发明公开了一种海量数据存储和检索方法，包括以下步骤：(1)、在服务器的文件系统中，按时间段建立目录，每个目录下包含众多.data命令的设备数据文件；(2)、服务器收到设备上传数据后，根据数据上报时段将同一时间段上报的所有数据汇总到以该时间段命名的目录下；(3)、进行数据存储时，先缓存一定规模的上报数据，当缓存数据达到设定规模时，一次性集中刷新到服务器的文件系统中；(4)、查询数据时，根据所需查询的设备标识(id)与时间段，读取相应文件并筛选出查询结果。本发明降低了存储大量设备连续不间断上传数据造成的服务器IO压力，提高了能并发支持的上传设备的数目，同时在读/写性能上取得了较好的平衡。

主权项

海量数据存储和检索方法，其特征在于：包括以下步骤：(1)、在服务器的文件系统中，按时间段建立目录，每个目录下包含众多.data命令的设备数据文件，每个设备数据文件存放对应设备id在指定时间段的所有数据记录；(2)、服务器收到设备上传数据后，根据数据上报时段将同一时间段上报的所有数据汇总到以该时间段命名的目录下，然后根据设备标识(id)把某时段内一个或多个设备的上报数据汇总到以该时段命名的目录下的与该设备标识关联的文件内；(3)、进行数据存储时，先缓存一定规模的上报数据，并按步骤1和2对缓存数据进行规整，当缓存数据达到设定规模时，一次性集中刷新到服务器的文件系统中；(4)、查询数据时，根据所需查询的设备标识(id)与时间段，读取相应文件并筛选出查询结果。