[发明专利]时序类型数据存取方法

说明书

本发明提供一种时序类型数据存取方法，其中，存储方法包括：接收原始数据；判断原始数据来源：对于实时数据，根据系统配置项的配置，判断是否需要压缩处理；对于历史数据，则直接存放在主内存缓冲区中；当主内存缓冲区的内存使用达到预设的限值，切换内存缓冲区主备，即切换主内存缓冲区和备用内存缓冲区；将备用内存缓冲区数据按照测点分块连续写入相应日历史文件尾部，并在写入文件块中记录前一数据块的地址信息；和更新日索引文件最后文件块的地址。本发明的数据查询处理采用高速缓存处理机制，它将最近访问过的测点日数据缓存在内存中，从而提高了访问过测点的日数据相关数据访问接口效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种时序(基于时间序列)类型数据高速存取方法。

背景技术

传统的时序数据库，底层数据处理引擎会有两种处理方式，一种是采用常规的小型嵌入式关系数据库引擎；另一种是采用基于键值对方式的NoSQL数据处理引擎。

其中，NoSQL数据存储不需要固定的表结构，通常也不存在Join连接操作，在大数据存取上具备关系型数据库无法比拟的性能优势。

但这两种数据处理引擎，其底层都是基于B+树处理方式，而B+树算法会出现随着数据量的大量增加，树深度会加大，页面分裂更频繁，从而出现写入和读取性能显著下降，无法满足高速存取的性能要求。

发明内容

本发明要解决的技术问题是，针对现有技术的不足，提供一种时序类型数据高速存取方法。

根据本发明一个方面，提供一种时序类型数据高速存储方法，包括：接收原始数据；判断原始数据来源：对于实时数据，根据系统配置项的配置，判断是否需要压缩处理，如果需要压缩处理则采用数据过滤算法过滤掉冗余点并且将处理后的数据存放在主内存缓冲区中，如果不需要压缩处理则直接存放在主内存缓冲区中；对于历史数据，则直接存放在主内存缓冲区中；当主内存缓冲区的内存使用达到预设的限值，切换内存缓冲区主备，即切换主内存缓冲区和备用内存缓冲区；将备用内存缓冲区数据按照测点分块连续写入相应日历史文件尾部，并在写入文件块中记录前一数据块的地址信息，从而形成一个反向测点数据块链；和更新日索引文件最后文件块的地址；其中，存放在主、备内存缓冲区中的数据为根据时间进行排序的数据。

可选的，时序类型数据高速存储方法还包括：如果当所述主内存缓冲区已满而所述备用内存缓冲区还没有存盘完毕，则对主内存缓冲区进行扩容。

根据本发明另一个方面，提供一种时序类型数据高速读取方法，包括：根据要获取测点数据的日期和测点ID生成一个合成主键；和根据此主键在历史数据缓存字典表中进行查询，如果在历史数据缓存字典表中存在此主键，则直接可以获取日历史数据序列值，然后可以根据查询时间范围从日历史数据值中抽取相应查询数据。

可选的，时序类型数据高速读取方法还包括：如果在数据缓存表中不存在此主键，则从日历史文件中来读取历史数据，包括：读取日索引文件，获取历史数据最后文件块地址；通过反向测点数据块链将此ID的整日历史数据块全部读取出来；根据时间进行排序，整理后的日历史数据使用先前的合成主键放入到历史数据缓存字典表中；和根据查询时间范围从日历史数据序列值中抽取相应查询数据。

与现有技术相比，本发明的数据查询处理采用高速缓存处理机制，它将最近访问过的测点日数据缓存在内存中，从而提高了访问过测点的日数据相关数据访问接口效率，包括历史数据、断面数据等的访问。

附图说明

图1是根据本发明一个实施例提供的历史数据文件结构示意图；

图2是根据本发明另一个实施例提供的数据存储和读取流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。