[发明专利]一种RTU数据存储方法

说明书

本发明涉及数据处理，具体涉及一种RTU数据存储方法，包括以下步骤：S01.采集数据；S02.内存缓存数据：采集到的每条数据信息上报给业务平台，根据上报结果设置当前数据信息的上报标记位，并将之写入到RTU内存缓存，如果内存缓存已满，形成一个完整数据块，其中，每个独立的数据文件中的每1024条数据为一个数据块，当一个数据块写入内存缓存后，压缩该数据块；S03.写入数据：将压缩后的数据块写入文件系统，清空内存缓存，并重复步骤S02。本发明最大优势在于极高的存储利用率，相比嵌入式数据库方案，本发明占用的存储空间只有数据库的1/20，启用压缩后可以缩小到1/40‑1/80。

技术领域

本发明涉及数据处理方法，尤其涉及一种RTU数据存储方法。

背景技术

RTU是一种采集+传输为一体的物联网设备，将外接的传感器数据读取后，传输到远端业务平台。广泛应用在电力煤气抄表、气象、环保、智能楼宇等各行各业。在部分行业应用中，要求RTU本地带存储功能，传感器采集的数据，除了需要传输到远端平台，还需要在本地保存，以供检索查询。但是处于成本控制角度考虑，RTU硬件性能配置普遍较低，例如某款RTU，CPU频率300MHZ，内置/外接的存储卡容量8GB-16GB，远低于市面上平板电脑等智能硬件设备。而传感器采集数据，具有上报频率密集的特点，累积一段时间后，很容易达到数亿甚至数十亿条。以RTU外接10个传感器为例，每个传感器2秒钟上报一次数据，一年下来:总的数据量＝10*24*365*3600/2，约等于1.6亿条。受限于RTU软硬件平台，无法使用Oracle、Mysql集群等服务器/PC领域常用的技术方案。而sqlite等嵌入式数据库系统，在海量数据下性能表现极低，数据量达到100万条级别后，读取返回时间超过1秒，无法满足性能要求。且由于嵌入式数据库需要保存额外的索引、表结构等结构数据，使得对存储空间利用率低下，这会直接导致硬件成本增加(需要采用更大的内置或外接存储)。

发明内容

针对现有技术中存在的缺陷或不足，本发明所要解决的技术问题是：提供一种针对RTU海量数据的存储、检索算法，在保证海量数据基本的写入、读取性能前提下，能够解决现有技术中数据压缩存储效率低下技术问题的数据存储方法。

为了实现上述目的，本发明采取的技术方案为提供一种RTU数据存储方法，包括以下步骤：

S01.采集数据：RTU上的若干传感器采集周围环境的数据信息，每一个传感器采集的数据信息为一个传感器数据集，每一个传感器数据集包括若干个独立的数据文件，每个独立的数据文件中只保存数据信息中的一个字段，该字段为索引、采集时间、采集数据或上报标志位，即所述独立的数据文件是索引文件、采集时间文件、采集数据文件或上报标记位文件；

S02.内存缓存数据：采集到的每条数据信息上报给业务平台，根据上报结果设置当前数据信息的上报标志位，并将之写入到RTU内存缓存，如果内存缓存已满，形成一个完整数据块，其中，每个独立的数据文件中的每1024条数据为一个数据块，当一个数据块写入内存缓存后，压缩该数据块；

S03.写入数据：将压缩后的数据块写入文件系统，清空内存缓存，并重复步骤S02。

作为本发明的进一步改进，步骤S02中，每一个数据块中的第一条数据保留原始数据，后续的每一条数据保存的是与上一条数据之间的差值。

作为本发明的进一步改进，每个采集时间文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。

作为本发明的进一步改进，每个采集数据文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。

作为本发明的进一步改进，采用可变长存储方法对差值进行保存；可变长度存储的字节大小至少为1个字节，最多为4个字节；

第0字节，第0bit，表示是否有后续数据，0表示没有，1表示下一个字节也是属于本条数据；