[发明专利]一种适合电力调度数据高速存取的索引系统及其索引方法

说明书

本发明涉及输变电设备状态监测及故障诊断的研究、应用技术领域，具体涉及一种适合电力调度数据高速存取的索引结构及其索引方法，索引结构包括测量点索引、时标索引、数据块、数据缓存块；每个测量点索引设置一个时标索引；每个时标索引设置若干个数据块；测量点索引依托于关系数据库实现；时标索引采用多级索引实现；本发明率先实现了统一量测点与时标的数据视图，避免了因元数据结构和关系等导致数据表繁多的被动局面，极大地适应了海量结构化数据高并发、低时延的存储需求。创造性地提出了面向电力监控系统量测点时间序列数据的索引结构，打破了关系型数据库仅能进行单列索引的应用局限，极大地提升了检索和读写数据的效率。

技术领域

本发明涉及输变电设备状态监测及故障诊断的研究、应用技术领域，具体涉及一种适合电力调度数据高速存取的索引系统及其索引方法。

背景技术

大数据可以通俗地理解为无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合，而电力大数据则需在此基础上重塑电力核心价值和转变电力发展方式。电力大数据的应用流程一般可分为数据获取和集成、数据解释和分析（数据解析）、分析结果展示等环节。其中，数据解释和分析是重要环节。当前，大数据在能源电力领域的应用虽然属于起步阶段，但鉴于大数据分析的作用，电网企业亦充分考虑和研发了电网大数据的分析工具。如中国南方电网公司即明确提出了，各级状态监测评价中心的主站平台需按照统一的标准，实现设备在线监测信息、设备台账信息（含基本信息、技术参数、价值信息、运维资料、大修技改、缺陷记录、绩效评价等七个维度），以及系统运行信息、气象环境信息、视频监视信息等数据的归集和全面融合。

电力企业的数据已告别以往数据类型较为单一、增长较为缓慢的时代，数据规模开始由TB级向PB级转变、增长，且数据结构亦形成以结构化、非结构化和半结构化的多源化数据形式。此时，如何科学的解释、分析电力大数据则成为了限制了数据应用的瓶颈。因此，还亟待提升和不断应用、开发面向电力大数据特征的高速存储体系结构、索引体系结构以及流计算即时处理技术，进而促进大数据分析技术的不断进步，达到智能电网在大数据时代下价值形态的跃升。其中，在数据分析时研究、采用高速存储的索引结构，改变以往关系数据库索引结构的落后方式，便显得尤为重要。如电力调度数据是一种时间序列数据，其特征在于量测点多、采集周期短。通常电力调度数据通常按照关系型数据库的表结构存储，但当数据总量超出既定表的承载极限时，则需按各量测点和采集时间而分库分表存储。此时，非但没有根本解决数据规模的问题，还造成数据分散，检索数据逻辑复杂的被动局面。此外，基于关系数据库的索引特性和读写性能的考虑，若是按量测点维度为主、时间维度为辅查询数据时，传统关系数据库的性能则无法满足检索要求。

鉴于此，急需在研究电力调度业务系统的数据存储、检索、流计算所采用技术架构的基础上，深入分析对即时流处理技术的现状与需求，总结归纳结构化数据与非结构化数据、时间序列数据等所采用的数据存储与检索技术架构与性能，进而提出一种适合电力调度数据高速存取的索引结构，一举扭转以往关系性数据库在处理时间序列数据时体现的逻辑复杂、性能低下等关键难题。

发明内容

为了解决上述问题，本发明提供了一种适合电力调度数据高速存取的索引系统及其索引方法，具体技术方案如下：

一种适合电力调度数据高速存取的索引结构包括测量点索引、时标索引、数据块、数据缓存块；每个测量点索引设置一个时标索引；每个时标索引设置若干个数据块；所述测量点索引依托于关系数据库实现；所述时标索引采用多级索引实现；所述多级索引由顶层索引向下检索直至底层索引；所述多级索引的每一级索引有若干个索引文件，所述索引文件包括若干个索引节点；所述索引节点包括若干个索引项；所述索引项的信息为下一级索引节点的编号、起始时标和结束时标；所述底层索引的下一级索引节点的编号为数据块编号；所述顶层索引除了索引项，还包括下一个索引节点编号信息；所述索引项的时标范围为下一级索引节点所有索引项的时标范围的并集；所述数据缓存块用于在写入数据时先把数据写入数据缓存块，待数据缓存块内存满后再将数据缓存块中的数据以追加的方式转储到数据文件形成数据块，并以数据块的粒度更新多级索引。