[发明专利]一种结合Dubbo服务的ETL数据处理系统及方法

说明书

本发明提供了一种结合Dubbo服务的ETL数据处理系统及方法，其系统包括ETL数据抽取模块、第一ETL数据清洗转换模块、Dubbo服务模块、第二ETL数据清洗转换模块以及数据加载模块；所述ETL数据抽取模块用于对数据进行数据抽取；所述第一ETL数据清洗转换模块用于对抽取的数据进行数据清洗转换处理；所述Dubbo服务模块用于根据业务需求调用对应Dubbo服务对象，对数据进行处理，并将处理后的数据存储在目标数据库中或者根据业务需求将数据输入到第二ETL数据清洗转换模块；所述第二ETL数据清洗转换模块用于对数据进行数据清洗转处理；所述数据加载模块用于处理后的数据加载到目标数据库中；本发明通过Dubbo服务模块调用合适的服务对象对数据进行处理，增强了对复杂数据的处理能力。

技术领域

本发明涉及大数据技术领域，尤其涉及一种结合Dubbo服务的ETL数据处理系统及方法。

背景技术

随着互联网技术快速发展，目前的业务线越来越复杂，各个业务系统独立运营，针对不同业务源头产生的异构数据源数据统一进行抽取、转换、最终存储的需求日益增多从而衍生出了ETL工具的诞生。

目前，市面上大多ETL工具虽然在数据处理源头上入口多、但对数据处理的方式比较单一，针对复杂数据的能力处理不足，可扩展性差，不能灵活满足复杂业务需求的问题尤为突出，尤其涉及数据来源众多，数据差异大无法准确定位真实数据的情况。

因此急需提供一种结合Dubbo服务的ETL数据处理系统及方法用于解决现有技术中ETL工具对数据的处理方式比较“单一”，针对复杂的数据处理能力不足，ETL工具可扩展性差，不能灵活地满足复杂的业务需求的问题。

发明内容

有鉴于此，有必要提供一种结合Dubbo服务的ETL数据处理系统及方法，用以解决现有技术中ETL工具对数据的处理方式比较“单一”，针对复杂的数据处理能力不足，ETL工具可扩展性差，不能灵活地满足复杂的业务需求的问题。

一方面，本发明提供了一种结合Dubbo服务的ETL数据处理系统，包括：

ETL数据抽取模块、第一ETL数据清洗转换模块、Dubbo服务模块、第二ETL数据清洗转换模块以及数据加载模块；

所述ETL数据抽取模块用于根据业务需求设置抽取配置信息，根据抽取配置信息对业务系统中的数据进行数据抽取得到待处理数据；

所述第一ETL数据清洗转换模块用于对待处理数据进行数据清洗转换处理得到第一目标数据；

所述Dubbo服务模块用于根据业务需求调用对应Dubbo服务对象，对待处理数据以及第一目标数据进行处理得到第二目标数据，并将第二目标数据存储在目标数据库中或者根据业务需求将第二目标数据输入到第二ETL数据清洗转换模块进行处理；

所述第二ETL数据清洗转换模块用于第二目标数据进行数据清洗转换处理得到第三目标数据；

所述数据加载模块用于将第一目标数据、第二目标数据集以及第三目标数据加载到目标数据库中。

在一些有可能实现的方式中，所述ETL数据抽取模块还包括同源数据提取模块、异源数据提取模块以及文件类型数据源提取模块；

所述同源数据提取模块用于通过建立在数据仓库和业务系统的链接关系，对业务系统中与数据仓库相同数据源的数据进行数据提取；

所述异源数据提取模块用于通过以连接数据源的方式建立的数据仓库与业务系统的链接关系，对业务系统中与数据仓库不同数据源的数据进行数据提取；

所述文件类型数据源提取模块用于提取存储在文本数据库中的数据。

在一些有可能实现的方式中，还包括：Dubbo服务参数配置模块；