[发明专利]多源异构电力负荷数据融合方法、装置、设备和存储介质

说明书

本申请涉及一种多源异构电力负荷数据融合方法、装置、设备和存储介质。该方法包括：获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。通过对多源异构电网负荷大数据的多层次处理，提供了从融合到评估的一整套电力大数据融合策略及评估，数据融合的实用性强、效率高。

技术领域

本申请涉及大数据领域，特别是涉及一种多源异构电力负荷数据融合方法、装置、设备和存储介质。

背景技术

电力负荷数据具有规模数量级大、种类繁多和变化速度快等特性，是典型的大数据。目前，根据专业需求不同，各部门通常都建立了独自的模型参数库并且各自独立进行维护，因缺乏协同管理机制，很难保证其一致性，具体体现为不同专业的参数以不同类型、不同编码与命名规则的文件形式存储，彼此之间难以互相辨识及共享参数信息。

公开号为CN107402976A的专利文献公开了一种基于多元异构模型的电网多源数据融合方法及系统，建立包括各源系统数据统一模型，通过模型遍历比对，计算模型间匹配度，实现了90％以上的数据自动集成融合，但该方法及系统并未提出针对电力负荷大数据的相关方法，针对性弱；公开号为CN103617557A的专利文献针对电网运行参数提出一种多源异构电网运行参数分析系统，但对于海量参数处理未引入相关的大数据处理技术，数据处理效率有待提升。因此，如何提高负荷数据融合的针对性和处理技术需要进一步的技术创新。

发明内容

基于此，有必要针对上述技术问题，提供一种多源异构电力负荷数据融合方法、装置、设备和存储介质。

第一方面，本发明实施例提供了一种多源异构电力负荷数据融合方法，包括以下步骤：

获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；

对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；

采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；

对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。

进一步的，在对所述异构文本进行融合后，还包括融合数据的评估，所述融合数据的评估包括：

通过与所述知识字典和所述对象数据库的数据实时校验，完成参数的在线修正；

对融合后数据与融合前数据进行比对，剔除融合过程中产生的错值、异常值；

对同一对象数据保证其唯一性，剔除融合过程中重复数据产生的冗余；

评估时间有效性与空间有效性，使得融合数据的实时和全面。

进一步的，所述对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库，包括：

从电力系统的Web Service接口中获得包括Excel文件、DAT文件、CIM文件的多源异构文本格式；

将归一化后的所述异构文本通过关键字符提取、名称筛选去重得到所述知识字典；

将归一化的所述异构文本通过多对象名分类、对应数值整理得到所述对象数据库。

进一步的，所述对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合，包括：

消除同一部门专业在不同级别的参数差异，通过引入差异度函数完成纵向参数融合：