[发明专利]自动生成抽取-转换-加载代码的方法和装置

说明书

技术领域

本发明总体涉及软件开发过程，尤其但并不只涉及一种自动生成抽取-转换-加载(Extract-Transform-Load,ETL)代码的方法和装置。

背景技术

一般而言，抽取、转换、加载(ETL)为数据仓储中的一种处理过程，该过程用于从来源系统中抽取数据，并按照业务需求实施必要的数据转换步骤后将其放入数据仓库。ETL程序的开发是一个缓慢的过程。ETL代码开发过程的通常步骤为：根据从来源至目标数据映射明细创建详细设计文档、编码以及单元测试。而且，针对每个必须开发的ETL代码均重复这三个步骤。然而，这三个步骤非常耗时且价格昂贵。研究和统计结论指出，ETL代码开发为产品整合方案中70％的成本和时间的根源所在。此外，ETL代码开发还影响新产品发布的上市时间，以及新的合规性信息的传递等。另一方面，ETL代码的手动开发可导致缺陷，而且影响及时满足要求的能力。

现有系统遵循计算机执行的ETL工作流程生成方法。该ETL工作流程生成方法包括接收元数据。该元数据描述了来源与目标之间的映射，其中，该来源和目标描述了一个实体。该方法还包括接收实体选择结果，该实体选择结果详细描述了上述实体。所述工作流程可基于元数据及实体选择结果而生成。

然而，现有系统基本上并未削减ETL代码开发过程中的时间和成本。而且，所述现有方法在很大程度上并未完全自动化。因此，开发出的ETL代码仍然存在着缺陷。

发明内容

本发明克服了现有技术的一个或多个缺点并提供额外的优点。而且，本发明的技术可实现其他特征和优点。此处，对本发明的其他实施方式和方面进行了详细描述，而且所述实施方式和方面视为所要求保护的本发明的一部分。

此处公开一种自动生成抽取-转换-加载(ETL)代码的方法和装置。代码生成装置从预定义ETL代码中自动检测出一个或多个模式，并且从模式数据库中获取该一个或多个模式。之后，用户提供上述获取的一个或多个ETL模式所需的用户输入，并根据该用户输入，识别出一个或多个ETL模式。根据所述一个或多个从主数据源至次数据源ETL映射，所述代码生成装置自动生成上述ETL代码。

因此，本发明包括一种自动生成ETL代码的方法。该方法包括，由一代码生成装置根据预定义ETL代码检测出一个或多个ETL模式。其后，所述代码生成装置判断所检测出的一个或多个ETL模式中的每个ETL模式是否存在于所述代码生成装置的模式数据库中。此外，所述代码生成装置从所述模式数据库中获取所述一个或多个ETL模式。获取所述一个或多个ETL模式后，所述代码生成装置接收与所述一个或多个ETL模式中每个模式对应的一个或多个参数值、主数据源相关元数据、次数据源相关元数据当中的每一个的用户输入。此外，所述代码生成装置根据所述一个或多个ETL模式中每个模式的用户输入，自动识别出一个或多个从主数据源至次数据源的ETL映射。之后，所述代码生成装置自动生成与所述一个或多个识别出的ETL映射中的每个ETL映射相对应的ETL代码。

此外，本发明还包括一种用于自动生成ETL代码的代码生成装置。该代码生成装置包括：处理器；以及存储器，以可通信方式与所述处理器相连接。所述存储器存有处理器可执行指令，该指令在执行时使得所述处理器根据预定义ETL代码检测出一个或多个ETL模式。在检测出所述一个或多个ETL模式后，所述处理器判断所检测出的一个或多个ETL模式中的每个ETL模式 是否存在于所述代码生成装置的模式数据库中。此外，所述处理器从所述模式数据库中获取一个或多个ETL模式。获取所述一个或多个ETL模式后，所述处理器接收与所述一个或多个ETL模式中每个模式对应的一个或多个参数值、主数据源相关元数据、次数据源相关元数据中的每一个的用户输入。此外，所述处理器根据所述一个或多个ETL模式中每个模式的用户输入，自动识别出一个或多个从主数据源至次数据源的ETL映射。最后，所述处理器自动生成与所述一个或多个识别出的ETL映射中的每个ETL映射相对应的ETL代码。