[发明专利]数据复制方法、装置、电子设备和存储介质

说明书

本公开提供了一种数据复制方法、装置、电子设备和存储介质，可以应用于大数据技术领域、金融领域或其他领域。该方法包括：响应于触发数据复制事件，创建数据回放进程；利用检测工具和主机端设备的参数交互表，与主机端设备进行数据复制共识，得到共识结果；在确定共识结果表示达成共识的情况下，将数据回放脚本加载到数据回放进程中；运行数据回放进程，以便从消息队列中拉取目标消息，并将解析目标消息得到的目标数据在平台端设备的数据库中进行回放；主机端设备被配置为将日志解析脚本加载到日志解析进程中，并运行日志解析进程，以便对主机端设备的数据库日志进行解析，得到目标数据，并向消息队列发送由目标数据封装得到的目标消息。

技术领域

本公开涉及大数据技术领域和金融领域，更具体地，涉及一种数据复制方法、装置、电子设备和存储介质。

背景技术

为适应业务创新发展需要，满足业务量持续增长、业务连续性和处理性能等要求，缓解业务量增长带来的主机资源压力，相关技术中构建了主机与开放平台相结合的应用架构，在该应用架构下，不可避免要进行主机到平台的数据复制。

在相关技术中，主机到平台的数据复制一般由技术人员手工操作完成，但随着平台服务器数量的迅速增长，技术人员手工操作的工作量也随之增加，因而无法保证数据复制的准确性。

发明内容

有鉴于此，本公开提供了一种数据复制方法、装置、电子设备、可读存储介质和计算机程序产品。

本公开的一个方面提供了一种数据复制方法，包括：响应于触发数据复制事件，创建数据回放进程；利用检测工具和主机端设备的参数交互表，与上述主机端设备进行数据复制共识，得到共识结果；在确定上述共识结果表示达成共识的情况下，将数据回放脚本加载到上述数据回放进程中；以及运行上述数据回放进程，以便从消息队列中拉取目标消息，并将解析上述目标消息得到的目标数据在上述平台端设备的数据库中进行回放；其中，上述主机端设备被配置为将日志解析脚本加载到日志解析进程中，并运行上述日志解析进程，以便对上述主机端设备的数据库日志进行解析，得到上述目标数据，并向上述消息队列发送由上述目标数据封装得到的上述目标消息。

根据本公开的实施例，上述响应于触发数据复制事件，创建数据回放进程，包括：响应于触发上述数据复制事件，停止当前数据回放进程；从主机端设备中导入待复制数据的表复制清单；以及基于上述表复制清单来创建上述数据回放进程。

根据本公开的实施例，运行上述数据回放进程，以便从消息队列中拉取目标消息，并将解析上述目标消息得到的目标数据在上述平台端设备的数据库中进行回放，包括：运行上述数据回放进程，从上述消息队列中依次获取消息；利用上述表复制清单对上述消息进行筛选，得到筛选结果；在上述筛选结果表示上述消息为上述目标消息的情况下，解析上述目标消息，得到上述目标数据；以及利用上述数据回放脚本将上述目标数据在上述平台端设备的数据库中进行回放。

根据本公开的实施例，上述方法还包括：在上述筛选结果表示上述消息不是上述目标消息的情况下，将上述消息返回至上述消息队列。

根据本公开的实施例，上述方法还包括：从任务日志中确定上述待复制数据的时刻信息；以及向上述主机端设备发送上述时刻信息；其中，上述主机端设备被配置为基于上述时刻信息来更新上述参数交互表中第一字段的参数值。

根据本公开的实施例，上述主机端设备被配置为：将上述日志解析脚本加载到上述日志解析进程中；运行上述日志解析进程，以基于上述时刻信息对上述主机端设备的数据库日志进行解析，得到上述待复制数据；以及将上述待复制数据封装为多个消息，并将上述多个消息依次发送至上述消息队列。