[发明专利]一种数据转换的方法、装置及存储介质

说明书

本申请提供一种数据转换的方法、装置及存储介质，用以提高数据转换的效率，及数据转换的灵活性。在本申请中响应数据转换指令，将数据转换指令对应的目标表信息、数据转换指令对应的原始表，以及数据转换指令对应的转换模式的预设基础脚本进行组合，生成目标脚本；调用NiFi工具的API接口创建任务流，并在任务流中设置目标脚本，以在运行任务流时，通过预先开发的处理节点执行目标脚本，进行数据转换。预先开发处理节点，以执行目标脚本，目标脚本是通过数据转换指令生成的；处理节点可以执行不同数据转换指令生成的目标脚本，具有通用性，且每次进行数据转换时，无需用户编写定制化脚本，简化操作，提高数据转换的灵活性和数据转换效率。

技术领域

本申请涉及计算机技术领域，提供一种数据转换的方法、装置及存储介质。

背景技术

数据转换是将数据从一种表示形式转变为另一种表示形式，例如，软件的全面升级带来数据库的全面升级，每一个软件对其后面的数据库的构架与数据的存诸形式都是不相同的，需要经常对数据进行导入、导出和数据转换。再例如，由于数据量的不断增加，原来数据构架设计不合理，不能满足各方面的要求，由于数据库的更换，数据结构的更换，从而需要数据本身的转换。

目前，在进行数据转换时，针对不同的数据转换任务，在每个数据转换的任务流中都增加一个业务定制化脚本；执行业务定制化脚本，进行数据转换；业务定制化脚本是用户自身编写的程序代码，仅能针对指定数据进行特定转换。

需要对每个任务流增加业务定制化脚本，降低了数据转换的灵活性和数据转换效率。

发明内容

本申请实施例提供一种数据转换的方法、装置及存储介质，用以提高数据转换的效率，及数据转换的灵活性。

第一方面，本申请提供一种数据转换的方法，该方法包括：

响应数据转换指令，将数据转换指令对应的目标表信息、数据转换指令对应的原始表，以及数据转换指令对应的转换模式预设基础脚本进行组合，生成目标脚本；

调用NiFi工具的API(Application Programming Interface，应用程序接口)接口创建任务流，并在任务流中设置目标脚本，以在运行任务流时，通过预先开发的处理节点执行目标脚本，进行数据转换。

第二方面，本申请提供一种数据转换的方法，该方法包括：

响应创建任务流的指令，基于预先创建的转换模板创建任务流，并在任务流中设置目标脚本，其中，目标脚本是数据治理平台在响应数据转换指令后，根据数据转换指令对应的目标表信息、数据转换指令对应的原始表，以及数据转换指令对应的转换模式预设基础脚本进行组合生成的；

响应运行任务流的指令，执行目标脚本，读取目标脚本中原始表的数据，确定需要进行数据转换的数据；

将需要进行数据转换的数据转换成目标数据，并写入目标脚本对应的目标表中。

第三方面，本申请实施例提供一种数据转换的装置，该装置包括：

响应模块，用于响应数据转换指令，将数据转换指令对应的目标表中的信息、数据转换指令对应的原始表，以及数据转换指令对应的转换模式预设基础脚本进行组合，生成目标脚本；

调用模块，用于调用NiFi工具的应用程序接口API接口创建任务流，并在任务流中设置目标脚本，以在运行任务流时，通过预先开发的处理节点执行目标脚本，进行数据转换。

在一种可能的实现方式中，响应模块具体用于：

将目标表中的各个字段名，以及各个字段名对应的转换函数，按照字段名与转换函数之间的对应关系，填写到转换模式的预设基础脚本的第一设定位置上；以及

将原始表的数据填写到转换模式的预设基础脚本的第二设定位置上。