[发明专利]数据处理方法、系统、电子设备和存储介质

说明书

本公开提供了一种数据处理方法，应用于调度设备，所述方法包括：获取配置信息，其中，所述配置信息包括待抽样的目标对象的对象信息和抽样规则，所述目标对象存储于源集群设备，所述源集群设备包括相互独立的沙盒区和非沙盒区，所述目标对象存储于所述非沙盒区；基于所述抽样规则和所述对象信息，生成控制指令；以及向源集群设备发送控制指令，以使所述源集群设备对所述目标对象中的源数据进行抽样，将抽样获得的抽样数据存储到所述源集群设备的沙盒区，并将所述抽样数据从所述沙盒区复制到目标集群设备。本公开还提供了一种数据处理系统、电子设备和计算机可读存储介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法、系统、电子设备和存储介质。

背景技术

大数据平台的数据准备通常是将源集群中的数据复制到目标集群。现有技术中，将源集群中的数据复制到目标集群的操作过程比较复杂，处理流程较长，并且需要大量的硬件资源、网络资源等。

现有技术中，存在数据准备过程的处理流程较长，所需要的时间长，并且需要大量的硬件资源、网络资源等问题。

发明内容

有鉴于此，本公开提供了一种数据处理方法、系统、电子设备和存储介质。

本公开的一个方面提供了一种数据处理方法，应用于调度设备，方法包括：获取配置信息，其中，配置信息包括待抽样的目标对象的对象信息和抽样规则，目标对象存储于源集群设备，源集群设备包括相互独立的沙盒区和非沙盒区，目标对象存储于非沙盒区；基于抽样规则和对象信息，生成控制指令；以及向源集群设备发送控制指令，以使源集群设备对目标对象中的源数据进行抽样，将抽样获得的抽样数据存储到源集群设备的沙盒区，并将抽样数据从沙盒区复制到目标集群设备。

根据本公开的实施例，配置信息还包括脱敏配置；基于抽样规则和对象信息，生成控制指令包括：基于对象信息，确定目标对象的元数据；基于元数据，建立数据表；根据所述脱敏配置确定脱敏函数，脱敏函数用于对抽样数据进行数据脱敏；以及根据抽样规则、数据表和脱敏函数，生成控制指令。

根据本公开的实施例，生成控制指令以便执行以下操作：根据抽样规则和对象信息，从目标对象中获得抽样数据；对抽样数据进行数据脱敏，获得脱敏数据；将脱敏数据保存到沙盒区；以及将脱敏数据从沙盒区复制到目标集群设备。

根据本公开的实施例，所述方法还包括在存在用于分别执行不同任务的多个控制指令的情况下，获取并发配置参数；基于所述并发配置参数，确定所述源集群设备同时执行的任务的任务数量；以及基于所述任务数量，控制所述源集群设备执行多个所述控制指令。

根据本公开的实施例，基于任务数量，控制源集群设备执行多个控制指令包括：获取源集群设备中的当前可用资源；基于当前可用资源和任务数量，确定分配给每个任务的当前可用资源，以使用分配的当前可用资源运行该任务的控制指令。

根据本公开的实施例，所述方法还包括生成所述调度设备获取所述源集群设备中的当前可用资源的获取记录，以便查询所述获取记录中是否存在异常的获取记录。

根据本公开的实施例，所述方法还包括校验复制到目标集群中的数据量是否与沙盒区存储的原始数据量一致；以及在数据量与原始数据量不一致的情况下，发出告警信息。

本公开的另一个方面提供了一种数据处理系统，包括：源集群设备，源集群设备包括沙盒区和非沙盒区，沙盒区与非沙盒区相互独立，非沙盒区中存储有目标对象；目标集群设备；以及调度设备，调度设备用于执行上述的方法，其中，源集群设备用于响应于控制指令，对非沙盒区中存储的目标对象进行抽样，以获得抽样数据，将抽样数据存储到沙盒区，并将抽样数据从沙盒区复制到目标集群设备。

本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的方法。