[发明专利]一种海量电网调度数据采集与存储系统

说明书

本发明涉及一种海量电网调度数据采集与存储系统，包括数据采集模块、数据处理模块、数据解析模块、数据存储模块、数据读取模块；其中，数据采集模块实现调度数据的采集；数据处理模块实现数据的预处理；数据识别模块实现数据功能的识别；数据存储模块实现数据的分类存储；数据读取模块实现数据的快速读取。本发明实现了海量电网调度数据的高效采集与存储，同时解决了数据读取低效的问题。

技术领域

本发明涉及电网调度数据采集与存储领域，尤其涉及一种海量电网调度数据采集与存储系统。

背景技术

随着国民用电量的大幅度增长，电网设备也投入的越来越多，因此电力调度数据量呈现出指数级的增长，这就宣告了电力调度数据网的大数据时代的来临。目前，电力调度业务中的数据每天都在快速增长，现有的技术已经很难满足海量调度业务数据的采集和存储。主要表现为无法将海量的数据进行完整采集，同时，单一的存储功能使得数据调阅时难以开展数据分析，数据读取困难，严重制约了电网的快速发展和推广新业务的速度。由于电力调度数据网的进一步发展，使得信息数据量也不断增加，这就需要有更高能力的数据采集和存储的方式，而传统的电网采集和存储方式已经很难满足这种需求。

发明内容

为了克服现有技术的不足，本发明提供了一种海量电网调度数据采集与存储系统，实现了海量电网调度数据的高效采集与存储，同时解决了数据读取低效的问题。

为解决以上技术问题，本发明的技术方案为：一种海量电网调度数据采集与存储系统，包括数据采集模块、数据处理模块、数据解析模块、数据存储模块和数据读取模块；其中，

数据采集模块实现调度数据的采集；

数据处理模块实现数据的预处理；

数据识别模块实现数据功能的识别；

数据存储模块实现数据的分类存储；

数据读取模块实现数据的快速读取。

优选地，所述数据采集模块用于采集电网中的报文数据，数据采集模块包括：主网数据采集模块和配网数据采集模块；其中，

主网数据采集模块用于对厂站远动装置上送至主站前置机上的海量报文数据进行采集；配网数据采集模块用于对厂站配电自动化终端上送的海量报文数据进行采集。

优选地，数据处理模块对采集的报文数据五元组进行解析，判断报文是否符合104规约格式；具体步骤如下：

步骤A1，查找解析后报文中是否有“0x68”字节，如果不是，则判定为不符合104规约格式，然后将其丢弃，否则进入步骤A2；

步骤A2，截取从“0x68”字节开始的后续报文数据；

步骤A3，判断截取的报文的应用层协议数据单元长度是否介于4到253以内，如果不是，则判定为不符合104规约格式，然后将其丢弃，否则进入步骤A4；

步骤A4，判断截取的报文总长度是否比应用层协议数据单元长度多2个字节，如果不是，则判定为不符合104规约格式，然后将其丢弃，否则判定为符合104规约格式。

优选地，所述数据识别模块利用深度学习网络对报文应用服务数据进行识别，具体步骤如下：

步骤B1，提取报文中的应用服务数据，将十六进制的应用数据转换成十进制；

步骤B2，将进制转换后的十进制数据中前784个数进行截取，多余的部分进行丢弃，不足的部分则用0进行补全，再进行归一化操作；

步骤B3，将归一化后的784个数进行转换成行数和列数都是28的矩阵；

步骤B4，将矩阵传入已经训练好的深度卷积神经网络中，进行应用功能分类，判断应用功能类型。

优选地，所述训练好的深度卷积神经网络是利用迁移学习将LeNet-5网络最后的分类数改为6类而得到的。

优选地，所述应用功能类型包括：总召唤功能、对时功能、循环数据传输功能、事件搜集功能、命令传输功能和累积量传输功能。