[发明专利]一种基于主题实例的电力海量数据存储和查询方法

摘要

一种基于主题实例的电力海量数据存储与查询方法，将电力海量数据分成静态数据和电网运行数据，将电网设备台账、设备技术参数、监测终端信息以及终端监测属性等静态数据以结构化的方式建立主题实例模型；将电网运行数据基于列式存储方案存储在HBase列式数据库中；本发明的有益效果是：提供统一的模型对电网设备状态监测进行高效、可靠地存储，并快速访问和分析，降低开发成本，提高开发效率。

主权项

一种基于主题实例的电力海量数据存储与查询方法，其特征在于，将电力海量数据分成静态数据和电网运行数据，将电网设备台账、设备技术参数、监测终端信息以及终端监测属性等静态数据以结构化的方式建立主题实例模型；将电网运行数据基于列式存储方案存储在HBase列式数据库中；存储方法包括以下步骤：步骤S200：先根据设备类型及其监测终端需要监测的属性建立属性基础标准库，主题类型库，主题类型与监测属性关联表，主题属性与终端项关联表，并固化到Oracle中；步骤S201：接收监测终端传感器数据，数据包中包含了设备ID，监测终端ID，主题类型ID，监测属性ID和监测值；步骤S202：实例化一个主题实例，将主题实例与电网设备台账关系维护到主题实例模型中，同时将主题实例与监测终端关系也维护到主题实例模型中；步骤S203：通过MD5加密设备ID取前两位+主题实例ID+(Long.Max_Value‑timestamp)作为HBase存储数据的行健RowKey；步骤S204：建立一个列族f,以电网运行时的监测属性作为列，将电网运行时的监测数据存储在HBase列式数据表中；查询方法的数据查询中包括过滤查询字段，过滤器生成规则，并根据所述过滤查询字段以及所述过滤器生成规则生成对应的过滤器；从所述行键查询范围中获得预设返回条数的行键对应的数据；利用所述过滤器从所述行键查询范围内的行键中过滤出与所述行键过滤字段匹配的行键；包括利用所述过滤器对所述行键查询范围内的数据进行过滤，得到过滤数据；从所述过滤数据中提取预设返回条数的数据；查询方法包括以下步骤：步骤S300：提取查询参数，根据所述主题实例ID，监测属性ID以及HBase行健生成规则生成行健查询范围，以及列族，版本号和列信息；步骤S301：根据所述过滤查询字段及其所述过滤器生成规则生成对应的过滤器；步骤S302：调用HBase的数据访问接口，从与所述表名对应的表内查找所述行健查询范围或者行健以及监测属性ID，利用所述过滤器对应的行健查询范围内的数据进行过滤，并从所述行健查询范围中获取预设返回的条数的行健及其列族，列名对应的数据；步骤S303：将所述预设返回条数的行健对应的数据映射为预设的格式，并将映射后的数据发送至客户端。