[发明专利]基于ETL引擎的前后端分离执行方法

说明书

本发明公开了一种基于ETL引擎的前后端分离执行方法，包括如下步骤：S1)将Kettle的前端UI层与后端核心层、引擎层、资源库进行分离，并将分离出来的核心层和引擎层集成到WEB容器中；S2)将分离出来的资源库做成独立的模块进行集中管理；S3)将核心层功能归类，打包成独立的服务对外提供接口，并引入Zookepeer和Dubbox实现分布式的ETL服务；S4)利用mxGraph作为UI层实现网页版拖拽式开发，将Kettle的C/S架构改成B/S架构。本发明提供的基于ETL引擎的前后端分离执行方法，不但安装使用方便，而且易于实现网页版拖拽式开发，扩展性和应用性更强。

技术领域

本发明涉及一种数据仓库技术，尤其涉及一种基于ETL引擎的前后端分离执行方法。

背景技术

信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统，用来记录事务处理的各种相关数据。

据统计，数据量每2～3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占总数据量的2％～4％左右。因此，企业仍然没有最大化地利用已存在的数据资源，以至于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。因此，企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。

ETL分别是“Extract”、“Transform”、“Load”三个单词的首字母缩写，也就是“抽取”、“转换”、“装载”。

“抽取”：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。

“转换”：按照预先设计好的规则将抽取得数据进行转换，使本来异构的数据格式能统一起来。

“装载”：将转换完的数据按计划增量或全部导入到数据仓库中。

ETL是BI/DW(商务智能/数据仓库)的核心和灵魂，按照统一的规则集成并提高数据的价值。ETL负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。但是ETL为桌面应用程序，采用CS架构。相比传统的WEB应用程序，现有技术存在如下缺点：

1)、安装使用不便。传统的ETL工具要安装，并且只能本地电脑启动，在网络隔离环境下无法投入生产。

2)、UI层无法做成网页版：传统ETL工具的工作流都是图形化拖拽式设计，ETL工作流定义和参数本身非常复杂，导致要实现图形化拖拽非常困难，而网页版的图形化也无法满足全部拖拽式定义工作流的需求。

2)、传统ETL工具是单机版：同时只能单人操作。传统的ETL的UI展示粗糙繁杂，易用性极差。

3)、传统的垂直架构，紧耦合，很难扩展。传统ETL工具的工作流设计器和执行都整合在一起，代码臃肿扩展非常困难。

4)、支持多人团队协作困难：由于ETL的CS架构设计，导致操作时必须要控制不能两个用户同时操作设计同一个ETL工作流，所以在源码中用全局锁控制，一个用户操作一个转换或者作业时会锁住相关的逻辑表，其他用户再在本地访问同一个资源库时，又会对再次去锁表，发生锁等待或者死锁让同时操作多个用户都无法正常使用。

发明内容

本发明所要解决的技术问题是提供一种基于ETL引擎的前后端分离执行方法，不但安装使用方便，而且易于实现网页版拖拽式开发，扩展性和应用性更强。