[发明专利]基于数据动态分块的电力静态数据跨区同步方法及系统

说明书

本发明公开了一种基于数据动态分块的电力静态数据跨区同步方法及系统，其中方法包括：配置同步数据任务的数据源端与数据目的端的数据源定义以及字段映射关系；基于数据源定义和查询参数确定同步数据任务的数据量；基于同步数据任务服务器的配置信息与同步数据任务的数据量，动态建立包括同步数据任务的任务池，并将任务池分配给相关联的同步数据任务服务器；分解同步数据任务服务器相关联的任务池的同步数据任务，生成同步数据任务的多个子任务；动态构建多个子任务的同步任务队列，循环执行同步任务队列中的多个子任务，基于字段映射关系，通过同步数据任务服务器将同步数据存储到指定位置，最终将目标数据从源端完整同步到目的端。

技术领域

本发明涉及计算机存储技术领域，更具体地，涉及一种基于数据动态分块的电力静态数据跨区同步方法及系统。

背景技术

随着电力信息化的逐步发展，各类电力业务数据的积累日益庞大，尤其是分钟级量测数据的数据接入，打破异构系统的业务数据壁垒，挖掘电力数据的隐藏价值，面向行业内外提供内容增值服务，为智能电网的发展和运营提供了全景性视角和综合性分析方法。

然而，现有技术中用于面向电力静态数据的基于数据动态分块的数据跨区同步方法，存在以下问题：

1、基于电力业务数据的安全性考虑，跨区数据访问仅提供数据服务、文本文件等方式，系统需要兼容XML、E格式、JSON等多种数据格式；

2、缺乏同步任务池的管理，难以有效组织数据同步工作，尤其是在部分数据同步失败的情况下，数据一致性难以保证；

3、缺乏满足业务校验的数据校核机制，在用户同步的数据被劫持的情况下，无法保证核心数据的准确性，存在一定的安全隐患。

因此，需要一种技术，以实现基于数据动态分块的电力静态数据跨区同步。

发明内容

本发明技术方案提供一种基于数据动态分块的电力静态数据跨区同步方法及系统，以解决如何基于数据动态分块进行电力静态数据跨区同步的问题。

为了解决上述问题，本发明提供了一种基于数据动态分块的电力静态数据跨区同步方法，所述方法包括：

配置同步数据任务的数据源端与数据目的端的数据源定义以及字段映射关系；

基于所述数据源定义确定同步数据任务的数据量；基于同步数据任务服务器的配置信息与所述同步数据任务的数据量，动态建立包括所述同步数据任务的任务池，并将所述任务池分配给相关联的同步数据任务服务器；

分解同步数据任务服务器相关联的任务池的所述同步数据任务，生成所述同步数据任务的多个子任务；

动态构建多个子任务的同步任务队列，循环执行所述同步任务队列中的多个子任务，基于所述字段映射关系，通过同步数据任务服务器将同步数据存储到指定位置，直至子任务执行完毕。

优选地，所述数据源定义包括：Web数据服务、E格式文件、JSON字符串。

优选地，所述字段映射关系包括：顺序映射字段名映射、手工关联映射。

优选地，还包括：对所述同步数据任务进行周期触发或定时触发。

优选地，还包括：基于同步数据任务服务器的最佳同步数据量，动态建立包括所述同步数据任务的任务池。

优选地，还包括：

将所述同步数据进行标准化转换处理；

建立标准化转换处理后的所述同步数据的结构化信息与同步数据任务服务器存储的同步数据的关联。

优选地，还包括：