[发明专利]程序开发方法、ETL处理方法及装置

说明书

本申请实施例公开了一种程序开发方法、ETL处理方法及装置，根据源数据的待处理对象，利用规则处理函数配置抽取‑转换‑装载ETL处理规则；生成所述源数据的可执行程序；运行所述可执行程序以获取源数据，调用规则引擎解析所述ETL处理规则，以生成ETL处理脚本，利用ETL处理脚本处理所述源数据，获得处理数据，并输出所述处理数据。本申请实施例提高了程序开发效率。

技术领域

本申请属于数据处理技术领域，具体地说，涉及一种程序开发方法、ETL(extract-transform-load，抽取-转换-装载)处理方法及装置。

背景技术

ETL(extract-transform-load，抽取-转换-装载)用来描述数据从源端经过抽取、转换、加载至目的端的过程。

ETL过程主要包括三个阶段：输入、处理以及输出，其中，处理阶段可以包括清洗、过滤、校验等处理操作。

实际应用中存在大量ETL处理场景，不同ETL处理场景的ETL处理方式可能不一样，现有技术中，实现ETL过程的ETL执行程序采用传统的软件开发模式，通过人工编写代码的方式实现。

发明内容

由于现有技术中ETL(extract-transform-load，抽取-转换-装载)执行程序都是通过人工代码编写获得，系统执行该执行程序，即可以实现ETL过程；但是人工编写代码的方式比较繁琐且效率较低，如果ETL需求发生变化，就需要重新编写代码，操作繁琐、效率低，影响ETL处理，有鉴于此，本申请实施例提供的一种程序开发方法、ETL处理方法及装置，实现了简单高效的程序开发，从而保证了ETL处理的效率。

本申请的第一方面提供了一种程序开发方法，包括：

根据源数据的待处理对象，利用规则处理函数配置抽取-转换-装载ETL处理规则；

生成所述源数据的可执行程序；其中，所述可执行程序用于调用规则引擎解析所述ETL处理规则，以生成ETL处理脚本。

可选地，所述可执行程序生成步骤包括：

根据所述源数据的输入类型，利用代码生成技术生成输入代码；

根据所述源数据的期望输出类型，利用代码生成技术生成输出代码；

基于所述输入代码、所述输出代码以及主流程代码，生成所述可执行程序；所述主流程代码规定了所述规则引擎的调用。

可选地，所述可执行程序生成步骤之前还包括：

显示多个输入类型以及多个输出类型；

响应于分别针对所述多个输入类型以及所述多个输出类型的选择，确定所述源数据的输入类型以及所述源数据的期望输出类型。

可选地，所述ETL处理规则配置步骤之前还包括：

显示多个函数；

响应于针对所述多个函数的选择，确定被选择的规则处理函数。

可选地，所述ETL处理规则配置步骤包括：

接收配置请求；所述请求中携带所述源数据的待处理对象；

根据所述源数据的待处理对象，利用规则处理函数配置ETL处理规则。

可选地，所述ETL处理规则配置步骤包括：

将源数据的待处理对象作为规则处理函数的处理参数，以生成ETL处理规则。

可选地，所述方法还包括：

将所述可执行程序以及所述ETL处理规则发送至分布式系统，以供所述分布式系统中的子节点运行。