[发明专利]一种数据割接方法及装置

权利要求书

1.一种数据割接方法，应用于目标计算介质，所述目标计算介质用于将源数据转换为目标数据，所述方法包括：

利用数据传输服务从源端获取源数据；

获取对应所述源数据且适用于所述目标计算介质的割接规则；

根据所述源数据的第一关联关系以及所述割接规则确定具有执行顺序的数据转换任务，所述数据转换任务是将具有第一关联关系的源数据按照割接规则转换为具有第二关联关系的目标数据所对应的转换操作；

根据所述执行顺序执行所述数据转换任务，得到具有第二关联关系的目标数据；

将所述目标数据传输至目标端。

2.根据权利要求1所述的方法，其特征在于，根据所述源数据的第一关联关系以及所述割接规则确定具有执行顺序的数据转换任务，包括：

将所述源数据按照预设拆分规则进行拆分，得到用于执行转换操作的原子数据；

根据所述原子数据以及所述割接规则构建用于表述数据转换任务的有向无环图，其中，所述数据转换任务由所述有向无环图中的一组具有关联关系的节点所组成；

基于有向无环图对应的数据转换任务调度框架确定所述数据转换任务的执行顺序。

3.根据权利要求2所述的方法，其特征在于，所述源端与目标端为关系型数据库，所述源数据与目标数据为关系型数据库中的数据表；

所述将所述源数据按照预设拆分规则进行拆分，包括：

按照预设维度以及第一关联关系对源数据表进行拆分，并对拆分后的数据构建索引，得到所述原子数据。

4.根据权利要求2所述的方法，其特征在于，根据所述原子数据以及所述割接规则构建用于表述数据转换任务的有向无环图，包括：

根据割接规则确定所述原子数据之间的依赖关系；

以所述原子数据为节点，所述依赖关系为边构建有向无环图；

将所述有向无环图中具有串联依赖关系的一组原子数据确定为一个数据转换任务。

5.根据权利要求1所述的方法，其特征在于，根据所述执行顺序执行所述数据转换任务，包括：

根据所述目标计算介质的计算性能动态控制所述数据转换任务的并发数。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当从源端获取的源数据具有第二数据格式时，确定具有第二数据格式的源数据对应的转换任务；

利用预置的调度程序执行所述转换任务，所述调度程序用于配合有向无环图对应的数据转换任务调度框架确定所述转换任务的执行顺序。

7.根据权利要求1所述的方法，其特征在于，在将所述目标数据传输至目标端之前，所述方法还包括：

获取对应所述目标计算介质的数据稽核脚本；

利用所述数据稽核脚本对目标数据与源数据进行稽核。

8.根据权利要求2所述的方法，其特征在于，所述根据所述执行顺序执行所述数据转换任务，包括：

基于有向无环图对应的数据转换任务调度框架对所述数据转换任务的执行过程利用所述有向无环图进行可视化展示。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述目标计算介质包括：数据库、应用系统、大数据平台。

10.一种数据割接装置，应用于目标计算介质，所述目标计算介质用于将源数据转换为目标数据，所述装置包括：

第一传输单元，用于利用数据传输服务从源端获取源数据；

获取单元，用于获取对应所述第一传输单元得到的源数据且适用于所述目标计算介质的割接规则；

确定单元，用于根据所述源数据的第一关联关系以及所述获取单元得到的割接规则确定具有执行顺序的数据转换任务，所述数据转换任务是将具有第一关联关系的源数据按照割接规则转换为具有第二关联关系的目标数据所对应的转换操作；

转换单元，用于根据所述执行顺序执行所述确定单元确定的数据转换任务，得到具有第二关联关系的目标数据；

第二传输单元，用于将所述转换单元得到的目标数据传输至目标端。