[发明专利]一种IEC61850海量数据快速分析方法

说明书

技术领域

本发明涉及一种IEC61850数据分析方法，属于电力自动化技术领域，特别是针对IEC61850海量网络通信数据的快速分析方法。

背景技术

IEC61850是IEC TC57制定的电力自动化用通信网络和系统技术标准，在智能变电站中被普遍应用，将变电站的通信定义为3层：站控层、间隔层和过程层。其中，过程层通过网络传输数字化信号，如开关状态、采样值，与传统电力通信相比数字化的网络通信数据量非常大，1天就可达数TB的数据量，对多间隔采样的产品如数字化故障录波器、网络记录仪等的数据处理能力提出了新的挑战。出于安全运行和故障诊断的考虑，需要记录这些通信数据，并且基于这些数据进行检索和故障定位，难度大，因为是针对海量数据处理。智能变电站存在着多种应用集成和数据共享的特点及趋势，同样面临海量数据的处理。

目前很多产品在网络接入方面采用如FPGA、DSP等辅助设计提高了网络吞吐量，能够满足需求；但在数据管理和分析方面存在几个突出的问题：（1）所有类型的数据采用同一种方式管理，包括存储、检索等，管理性能低，改进和扩展难度大；（2）数据检索分析速度慢、耗内存，在数据量非常大时甚至出现应用或系统崩溃的情况。

实际上多种数据采用一种方式管理很难达到理想效果，由于数据特征的差异，有时甚至因为兼顾太多而导致其他应用效果不理想；如果在应用过程中，某种数据特征差异过大，无法使用原有数据管理方式管理时，整个应用系统的改动将非常大，可能会引出其他如稳定性、兼容性等问题。已有数据分析多采用将原始数据驻留内存并增加辅助分析数据，这样基于内存的分析和遍历速度快，但耗内存（至少大于原始数据量），尤其当数据量非常大时，整体效果会下降（如系统虚拟内存机制导致）甚至因内存不足而崩溃。这些问题直接影响了应用的可用性，维护成本高，也降低了运行维护的工作效率，是潜在的安全稳定风险。因此，海量数据的管理和分析是目前亟待解决的问题。随着智能变电站智能化的不断发展，数据量会不断增加，即海量数据的处理技术需要不断的探索和改进。

发明内容

为了克服上述已有技术的不足，本发明提供了一种IEC61850海量数据快速分析方法。

本发明所采用的技术方案是：

一种IEC61850海量数据快速分析方法，所述分析方法通过统一数据管理接口，以及摘要和定位器实现海量数据的快速遍历，仅将预设范围内的数据驻留内存并分析，其特征在于，所述分析方法包括以下步骤：

（1）在智能变电站内IEC61850通信系统中，确定用于数据管理的公共接口、即统一的数据管理接口，该数据管理接口由具体的数据管理后端实现，支持使用多种数据管理后端；数据管理接口包括摘要生成接口、定位接口、获取接口、分析接口；其中：

所述摘要生成接口将海量数据按条目生成位置信息和数据关键信息；

所述定位接口依据所述摘要生成接口生成的摘要信息实现数据关键信息的快速检索并确定相应的位置信息；

所述获取接口依据所述定位接口确定的数据位置信息从海量数据中快速获取被检索数据条目；

所述分析接口将由所述获取接口获取的数据条目进行详细分析并输出分析结果。

（2）依据步骤（1）对应的数据管理接口生成海量数据摘要并存储为摘要库，使用摘要生成接口对海量数据按照数据关键特征进行快速分析，生成包括关键信息和数据位置信息的摘要；数据关键特征的分析和获得由数据管理接口中的摘要生成接口实现，所述数据关键特征作为摘要的一部分内容，在定位数据时由定位器从摘要库提交给定位接口，然后由数据管理后端具体处理；

（3）依据步骤（2）对应的摘要通过定位器快速定位获取在预设范围内的数据并分析；定位器记录了当前正在分析的数据在海量数据中的起始位置，预设范围为在内存进行分析的数据条目数；定位器依据摘要通过定位接口实现快速移动定位后，从定位即起始位置开始的预设范围的数据通过数据获取接口加载到内存，然后通过数据分析接口进行分析；

（4）通过移动定位器实现对所有海量数据的分析；定位器移动并定位到新位置时，原预设范围中远离新位置的数据移出内存，靠近新位置的数据移入内存，数据量始终不超过预设范围，从而实现与数据量大小无关的、稳定的、低资源占用的快速数据分析。

与已有技术相比，本发明的有益效果是：本发明的数据管理接口及后端实现分离的设计提高了数据管理性能，且易于改进和扩展，延长产品生命周期，降低维护成本；通过摘要和定位器实现的海量数据快速分析，显著提高了应用的可用性，提供了运行维护的效率。