[发明专利]一种历史数据收集及存储的方法

说明书

技术领域

本发明属于自动化控制技术领域，尤其涉及一种用于从实时数据库中获取历史数据并高效管理的文件格式存放数据的方法。

背景技术

现代自动化控制系统规模越来越大，处理能力越来越强。其支持的点数数也越来越多。由此产生的数据量就更加庞大。历史数据库负责数据的收集，将需要的数据保存到磁盘上，并提供查询。

目前，自动化控制系统的历史数据库大多采用成熟的商用数据库，如ACCESS、SQL SERVER、Oracle、Sybase等。但是，对于提供趋势查询的历史数据库，由于对变化较快的过程量，其采样频率也相应的增高，比如一秒，这样对于有上万个点的系统来说，其一天的数据条数将达到亿级别。这样高的数据量和频率，如果用商用数据库来存储管理，那将会是一个很大的负担，占用过多的系统资源，同时，商用数据库不能满足历史数据收集的时限性要求。而且，商业数据库不提供压缩功能，这对不断增多的历史数据存储是个很大的难题。

另外，历史数据的存储主要依赖硬盘，但对于有大量的存盘数据，存盘速度对高频率访问硬盘的影响是不利的。

发明内容

针对现有技术存在的问题，本发明提供了一种历史数据收集及存储的方法。

本发明是这样实现的，一种历史数据收集及存储的方法，提供一种自定义的数据存储文件格式，通过缓冲区来减少磁盘I/O次数和提高系统的实时性能，通过新的文件存储格式和文件存放组织形式来提高数据查询效率，并且可通过压缩工具来压缩数据以减少磁盘空间占用。

为了实现上述目的，本发明的实施例提出了一种历史数据收集及存储的方法，在系统开机时，历史服务进程启动。首先加载全变量历史库收集索引表，该表由工程师站组态编译下装而来。根据采集点个数和数据值存储大小以及采集周期来确定待采集数据的十分钟大小，并据此创建两个内存缓冲区。然后对收集索引表进行初始化；程序运行时根据索引表周期收集各个点项的数据值并记录数据库信息。运行时要周期性判断当前的收集内存区是否满十分钟，当满十分钟时，就要进行换区，空的用来存储新的数据，满的则转储到磁盘文件。这样两个缓冲区，交替进行收集和转储。

进一步，每个磁盘文件都是一个独立的文件，他们有自己的索引结构，用来独立提供对本文件数据点的查询，即根据索引表和给定时刻就可以确定某个点的数据在整十分钟的位置。

进一步，以日期来命名文件夹，具体是xxx年xx月xx日，文件夹下包含当天所有的整十分钟数据文件。每个磁盘文件的命名是该文件的收集起始时刻在一天24小时中所处的第几个十分钟的序号来命名的，这样查询时，根据查询时间，可以快速定位到目标文件，提高查询效率。

进一步，开机时，历史库进程读入组态生成的索引文件到内存，并根据索引文件初始化各索引部分。

进一步，根据所有需要收集数值的变量个数和采集周期以及每个值的大小，确定十分钟内存数值缓冲区的大小，然后据此创建两个相应大小的内存缓冲区；

进一步，包括两个内存缓冲区，分别为#0和#1号区，当一个收集满时，另一个开始收集，收集满的则开始转储到磁盘文件，一个缓冲区存储为一个独立的磁盘文件；根据数据收集时间的起始时刻折算成其在24小时中处于第几个整十分钟，以此序号作为文件名，检索时提供查询时间便可快速定位到目标数据所在的文件；满十分钟的缓冲区转储时，每个数据文件都有自己一份复制的数据索引结构，可以单独提供索引查询。

本发明的优点和积极效果：较之以往的设计只用一个内存缓冲区的方式，本发明采用两个内存缓冲区的方式，交替用来收集，收集满了就转储为磁盘文件，这样可以确保收集过程中，数据不会丢失，且存储过程可以以低优先级进行，尽最大程度满足了历史数据收集的时限性。再者，根据本发明的索引结构，做到了历史数据的收集完全是基于时间，这样在查询时也只需根据时间即可定位到目标数据，大大降低了系统的复杂性；本设计的索引结构一般只有几百K 到几M，这占用非常小的系统内存，同时通过索引结构来代替历史数据的时间戳的方法，可以大大降低存储空间的需求。以往的设计是所有的磁盘历史数据索引共用一个大的索引结构，本发明改为每个文件自带一个小的索引结构，这样可以保证在工程变更，索引结构变化后，以前的文件还能够独立查询而不受影响。本发明提供的方法能够保证历史数据的收集的实时性，方便历史数据的管理和查询，提高系统性能。

附图说明

图1本发明提供的历史数据收集及存储的方法收集表图；

图2本发明提供的收集类型表结构图；

图3本发明提供的收集组表图；