[发明专利]一种面向大规模多源异构数据的多聚类方法

说明书

本发明公开了一种面向大规模多源异构数据的多聚类方法，涉及数据处理技术领域，包括：将不同来源的异构数据通过ETL工具进行预处理，转换为统一目标数据格式；然后按电压等级，设备类型，采集量测类型进行分类；对分类后的多源异构数据集按照配电网络和网络元件之间的相互关联构建拓扑分析引擎；基于拓扑分析剔除不满足的数据集，得到待融合数据集；对待融合数据集进行观测系数分析，并分配对应数量的处理终端对待融合数据集进行融合，提高数据融合效率，实现对配电网历史数据与准实时数据的交叉复合深度分析；输出数据融合结果，供配电网工作人员研究分析，为能源精细化的管理和用户服务提供指导，以及时做到故障预警，提高电力安全。

技术领域

本发明涉及数据处理技术领域，具体是一种面向大规模多源异构数据的多聚类方法。

背景技术

随着智能电网建设的深入发展，配电网各业务系统的专业方向不同、建设时间不同、架构不同，在运行过程中产生了大量的量测数据、业务表单数据、台账信息数据等结构多样、来源复杂，时间尺度不统一、空间尺度各异的多源异构数据；据统计，一个中等规模配电网每年将产生上百TB的数据；这些数据在各自业务系统中相互独立，未能实现有效融合，数据效能未能得到充分的挖掘和发挥；进而使得在电力设备出现数据异常时，无法及时和准确地向相关工作人员推送相关信息，以做到故障预警。

基于此，现有技术中对上述问题进行了一些研究，如专利申请CN109241169A公开了一种配电网运行信息多源异构数据融合数据库集成方法，其根据需求接入电网的不同的业务子系统以获取目标数据集，基于拓扑分析引擎，选择目标数据集中满足一定条件的数据集，构建基于正则化残差搜索法的数据融合模型剔除经拓扑分析处理后的目标数据集中的坏数据之后进行融合。专利申请CN114238464A公开了一种多元能源数据的异构融合方法，其将不同来源的异构数据进行预处理后，对数据进行融合。但现有的多源异构数据聚类分析系统无法做到智能调配供对应配电网生产运行数据进行聚类分析的终端数量，资源利用不高，数据分析效率较低。

发明内容

为解决上述技术问题，本发明提供了一种面向大规模多源异构数据的多聚类方法，对待融合数据集进行观测系数分析，根据观测系数智能调配处理终端的分配数量，提高数据处理效率。

本发明所述的一种面向大规模多源异构数据的多聚类方法，包括如下步骤：

步骤一：在选定时间段内，不间断根据需求接入配电网的不同的业务子系统在线采集目标数据集以形成多源异构数据集；

步骤二：将不同来源的异构数据通过ETL工具进行预处理，使得原始数据的多种格式转换为统一目标数据格式；预处理包括数据筛选、数据修复；

步骤三：对预处理后的多源异构数据集按电压等级、设备类型、采集量测类型进行分类；对分类后的多源异构数据集按照配电网络和网络元件之间的相互关联构建拓扑分析引擎；

步骤四：基于拓扑分析引擎的分析，选择多源异构数据集中满足在相同时间断面，同时电压一致、电流和功率满足KCL定律的数据集，剔除不满足的数据集，得到待融合数据集；其中待融合数据集携带有时间断面；

步骤五：对待融合数据集进行观测系数GF分析，根据观测系数GF分配对应数量的处理终端对待融合数据集进行融合，其中融合基于HFCM聚类算法；

步骤六：输出数据融合结果，供配电网工作人员研究分析，为能源精细化的管理和用户服务提供指导；其中数据融合结果携带有时间断面。

进一步的，对待融合数据集进行观测系数GF分析，具体分析步骤为：

获取待融合数据集对应的时间断面，调取对应时间断面的研究吸引值YG；

统计待融合数据集的数据大小为D1；获取待融合数据集对应的配电网，调取对应配电网的规模值GM和故障系数GZ；