[发明专利]一种海量电网数据的实时查询方法、系统及存储介质

说明书

本发明公开了一种海量电网数据的实时查询方法、系统及存储介质，具体来说，所述方法基于电网图结构数据流的二级索引进行连续查询，包括通用查询和k近邻查询，二级索引包括自顶向下的全局索引和本地索引，在进行电网图结构数据相似度计算时采用状态复用计算的方法，对于时间窗口交叠部分的数据不作重复计算，并且将新进入的图和当前有效的图计算距离，作为最新的状态增量更新；本发明的方法针对拥有动态、未知的电网轨迹流构建高更新能力的二级索引以及基于索引的查询处理流程，有效降低了图相似度计算的时间复杂度及其状态表的维护代价，从而提升增量计算效率，缩减查询时间，同时基于电网数据轨迹流实时更新索引结构，进一步提升了海量电网数据的监测和查询性能，实现快速、实时的海量电网数据查询。

技术领域

本发明涉及一种电网数据的查询方法、系统及存储介质。

背景技术

在电网系统中，变电集控起着至关重要的作用，因为它不仅驱动输配电工作，而且还负责电气设备的组装、电压的调整和重要任务的联系，大量的电力数据是实时产生的，需要不断地进行处理。例如，用户可以通过对历史和当前信息的实时分析，对电力集控做出快速的决策或预测。在实时处理系统中，每个输入图元都扮演着检索和更新的角色。具体来说，对于这样一个系统，所有现有的树形索引(如R-tree)只能满足查询效率的要求，但在更新效率方面表现不佳。

大数据平台(如Flink、Spark)提供了一套比较便捷管理、开发数据的能力，虽然基于这些平台可以快速的根据目标需求定制相应服务，但是这种简单粗暴的方式往往是高开销、低性能的，是一种得不偿失的行为。电网系统中的电力数据监测本质是实时处理大量的图数据，而图数据中的相似度往往隐含着重要含义，为了去解决这种图相似性问题，有很多对于图相似度计算的方法，主要分集中式和分布式方法，在下面两段做简述。

集中式的图相似度做法往往是定义不同的距离衡量方法，在数学的角度对不同的距离度量适应性作证明。例如，人和人之间的距离往往在日常中是以“欧氏距离”来默认替代的，但是在实际工业应用时，可能也会有“曼哈顿距离”、“编辑距离”等等。

分布式的图相似度做法往往是以Hadoop之上的大数据平台来建设的，整个处理图相似度的系统以主从分布式集群来处理。主节点主要完成协调的工作，使得不同的从节点都执行局部计算的任务。但是这种简单的MapReduce架构可能仍有一定的局限性：(1)无法自适应地应对实时电网数据流的即时更新；(2)无法感知时空上的负载倾斜；(3)查询的性能不适配实时分布式流处理环境(受限于频繁更新代价)。

《Distributed trajectory similarity search》(D.Xie,F.Li,andJ.Phillips.Distributed trajectory similarity search.PVLDB,10:1478–1489,2017.)公开了一个分布式空间数据计算框架DFT，面向轨迹数据的分布式大规模计算，但筛选过程是利用分布式空间索引实现的。这就要求全局索引和局部索引的每个节点都要用咆哮位图(Roaring Bitmap)来记录经过节点的轨迹ID集合，这导致DFT中的分布式空间索引体积非常庞大，DFT需要知道轨迹集中所有的轨迹ID。

名称为“一种分布式环境下基于社会感知的空间索引方法”，公开号为CN109190052A的专利公开了一种基于R树的空间索引方法，支持分布式环境下的查询，但该索引对于静态数据建立的，索引的更新和存储开销较大，无法实现针对电网数据流的实时查询，即索引更新开销远大于查询流程开销。

发明内容

发明目的：本发明的第一目的是提供一种对电网数据轨迹流的索引结构实时更新和快速查询的方法，本发明的第二目的提供电网数据实时、快速查询的系统。

技术方案：本发明所述的海量电网数据的实时查询方法，包括如下步骤：

(1)获取用户端发出的连续查询需求和查询图Q；