[发明专利]基于HBase的电网运行数据存储访问方法及其系统

说明书

本发明公开了一种基于HBase的电网运行数据存储访问方法及其系统，旨在解决传统电网运行数据存储访问效率低且难以适应数据结构变化的技术问题。其包括：根据电网历史运行数据，生成数据结构描述信息；实时获取待写入电网运行数据，进行数据结构描述信息检查和更新，并将待写入电网运行数据进行序列化处理后存储到HBase数据库；根据数据查询请求从HBase数据库中读取查询数据，并将查询数据进行反序列化处理后反馈到客户端。本发明能够适应电网运行数据的数据类型和数据结构变化，有效提升电网运行海量历史数据的存储访问效率，实现电网运行数据的高效集中存储。

技术领域

本发明涉及一种基于HBase的电网运行数据存储访问方法及其系统，属于电力系统自动化数据处理技术领域。

背景技术

随着电力系统的快速发展，尤其是特高压大电网的建设，对电网的运行管理和电网运行数据的综合运用的要求越来越高。然而，随着规模扩充和积累时间的增加，电网运行历史数据的数据量越来越大，依靠传统方法，通过关系型数据库(RDBMS)存储电网运行历史数据存在很多问题，包括：数据存储量大，量级可达到TB或PB级，关系型数据库处理困难；进行数据访问时数据响应速度受到关系型数据库对海量数据的访问制约，读取及写入时间长，已经难以满足数据访问的性能需求，影响数据存储以及处理效率；无法满足数据结构随时间不断变化，存储和访问的扩展性差。目前电力系统领域急需一种新的数据存储和查询方法，来解决上述问题。

发明内容

针对传统电网运行数据存储访问效率低且难以适应数据结构变化的问题，本发明提出了一种基于HBase的电网运行数据存储访问方法及其系统，解决了同类数据随时间变化无法用固定结构定义的问题，实现电网运行历史数据的高效存储，提升了电网运行海量历史数据的存储访问效率，满足了对电网运历史数据的存储访问应用需求。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于HBase的电网运行数据存储访问方法，具体包括如下步骤：

根据接收到的数据查询请求从预先构建的HBase数据库中读取查询数据，并将查询数据进行反序列化处理后反馈到客户端。

结合第一方面，进一步的，所述HBase数据库的构建方法包括如下步骤：

步骤A、根据电网历史运行数据，生成数据结构描述信息；

步骤B、获取待写入电网运行数据，对步骤A中的数据结构描述信息进行检查和更新，并对待写入电网运行数据进行序列化处理后存储到HBase数据库。

结合第一方面，进一步的，所述数据结构描述信息包括数据类型描述表和数据属性描述表，其中，所述数据类型描述表包括多条数据类型描述记录，所述数据类型描述记录包括下述中至少一种：数据类型编号；数据类型标识；数据类型描述；数据类型版本；

所述数据属性描述表包括多条数据属性描述记录，所述数据属性描述记录包括下述中至少一种：数据属性编号；所属数据类型编号；数据属性顺序编号；数据属性标识；基本数据类型；数据属性长度；数据属性缺省值；数据属性描述。

结合第一方面，进一步的，步骤B的具体操作如下：

步骤B01、根据待写入电网运行数据获取待写入数据类型标识model_id_in和待写入数据属性集合U_in；

步骤B02、从数据类型描述表中检索出数据类型标识与model_id_in相同的数据类型描述记录，构成数据类型描述集合model；

步骤B03、当model不为空时，从model中选取数据类型版本最大的数据类型描述记录，将其对应的数据类型编号记为mdl_rid_match，进入步骤B04，当model为空时，进入步骤B07；