[发明专利]一种多源时间序列数据压缩存储方法

摘要

本发明公开了一种多源时间序列数据压缩存储方法，包含以下步骤对各部署对象分组；将各部署对象组划分内部组；在内存中为每个内部组分配一个用于缓存的内存文件；在收到某量测点的时间序列数据时，进行第一级有损压缩，并根据该量测点所属的部署对象组和内部组，找到其对应的内存文件，将压缩后的数据缓存到内存文件中；在内存文件写满或达到预设的时间限制时，将内存文件映射到硬盘，进行第二级无损压缩，将压缩后的数据块存储到关系型数据库中。使得数据缓存时能够快速找到对应的内存文件，并快速定位存储位置，提高了缓存效率；采用分块压缩方式，提高了压缩效率，并且有效地节约了硬盘容量；而且，通过关系型数据库，提高了数据读取速度。

主权项

一种多源时间序列数据压缩存储方法，所述多源时间序列数据来自不同部署对象的不同量测点，其特征在于，包含以下步骤：根据各部署对象所包含的量测点数量，对所述各部署对象分组，将所包含量测点数量总和小于预设值的至少两个部署对象分为一组，将其余的每个部署对象分别分为一组；对各部署对象组进行组内划分，以所述预设值为界限，每达到预设值数量的量测点划分为一内部组，对应一组内标识，其余不足预设值数量的量测点划分为一内部组；在内存中为每个部署对象组中的每个内部组分配一个用于缓存的内存文件，并进行内存镜像处理；在收到来自一部署对象辖下量测点的时间序列数据时，对该数据进行第一级有损压缩，并根据该量测点所属的部署对象组和内部组，找到该量测点对应的内存文件，将该压缩后的时间序列数据缓存到该内存文件中；在所述内存文件写满或达到预设的时间限制时，对该内存文件进行第二级无损压缩，将压缩后的数据块存储到关系型数据库中。