[发明专利]一种传感器数据层次化存储装置与方法

说明书

本发明提供一种传感器数据层次化存储装置及方法，该方法包括：层次周期建议器，用于接收传感器数据，根据传感器数据特性和访问场景对传感器数据进行时间分段，计算各时段内单序列Top k周期，并根据单序列Top k周期计算传感器数据组Top k周期和单序列的层次；层次化加工引擎，用于根据单序列的层次、单序列Top k周期和传感器数据组Top k周期对传感器数据进行加工，以生成层次化数据，并将层次化数据发送至层次化存储与索引引擎；层次化存储与索引引擎，用于对层次化数据进行存储，并将存储的层次化数据与索引信息相结合。本发明的传感器数据层次化存储装置及方法支持高效检索。

技术领域

本发明涉及传感器数据处理技术领域，尤其涉及一种传感器数据层次化存储装置与方法。

背景技术

对于海量的工业时序数据中的传感器数据，由于感知指标的物理属性原因，传感数据在时间与空间方向上往往都存在较大冗余即重复，因此数据存储时有较大压缩空间，比如如果业务允许，在历史数据备份的时候，可以考虑做有损压缩。另外，对工业时序数据的访问和分析需求很多都是对传感器数据在一定时间粒度上聚合值的读取，而非原始数据测点值的读取。例如对海量时间序列数据的可视化展示很多均在一个聚合时间粒度上进行，再例如风机的SCADA(Supervisory Control And Data Acquisition，监控与数据采集)系统，其监测数据在秒级，但不同分析应用需要不同时间粒度的聚合值。

目前，通常利用实时数据库对传感器数据进行存储，实时数据库根据“逢变再存”的思想，利用不同的压缩算法，对原始数据进行有损压缩存储，实时数据库对于缓慢变化的信号，压缩比很高，存储速度快，然而，利用实时数据库对传感器数据的存储为有损压缩存储，用户查询效率很低，并且不支持随机查询。利用关系库对传感器数据进行存储时，存储多张表，不同表用不同的时间颗粒度，这种情况下，也存在用户查询速度慢的缺陷。

典型的数据聚合方式为在数据接入时指定固定的聚合周期，从而使得在数据接入过程中将数据按该周期执行聚合并存储。另一种相关的数据聚合方式是典型的数据立方体，通过指定特定的维属性立方体进行聚合物化。但这些系统和方法基于通用的固定模式，如事先确定的固定周期，而未基于工业时序数据的设备、指标等特定模型，指标列组间的关联特性，以及结合工业时序数据分析和可视化等访问模式进行层次化数据存放。

因此，需要提供一种能够结合工业传感器时序数据特性和访问场景，检查指标间的数据关联，对时序数据的周期进行指定，并进行层次化数据存储以支持高效检索的传感器数据层次化存储装置及方法。

发明内容

根据本发明的一个方面，提供了一种传感器数据层次化存储装置，包括：层次周期建议器，用于接收风机传感器组发送的传感器数据，根据传感器数据特性和访问场景对传感器数据进行时间分段，计算各时段内传感器数据的单序列Top k周期，并根据单序列Topk周期计算传感器数据组Top k周期和各时段内单序列的层次，并将传感器数据、各时段内单序列的层次、单序列Top k周期和传感器数据组Top k周期发送至层次化加工引擎；层次化加工引擎，用于接收传感器数据、各时段内单序列的层次、单序列Top k周期和传感器数据组Top k周期，根据各时段内单序列的层次、单序列Top k周期和传感器数据组Top k周期对传感器数据进行加工，以生成层次化数据，并将层次化数据发送至层次化存储与索引引擎；层次化存储与索引引擎，用于接收层次化数据，对层次化数据进行存储，并将存储的层次化数据与索引信息相结合，以提供层次化数据的查询服务。

在层次周期建议器中，当层次周期建议器接收到用户指定的各时段内单序列的层次、单序列Top k周期和传感器数据组Top k周期时，层次周期建议器将传感器数据、各时段内单序列的层次、单序列Top k周期和传感器数据组Top k周期发送至层次化加工引擎，以对传感器数据进行加工。