[发明专利]一种基于ETL进行数据仓库各层数据表汇总的自动触发方法

说明书

本发明提供一种基于ETL进行数据仓库各层数据表汇总的自动触发方法，属于数据信息技术领域，本发明基于ETL工具NIFI和大数据仓库平台Hadoop，在大数据仓库平台中对数据进行分层汇总，最原始采集的数据存储在ODS层、初次汇总的存储在DWD层、针对上层应用的汇总存储在DWS层。ETL工具ODS层元数据采集成功、触发DWD层数据的汇总，DWD层的汇总触发DWS层的汇总。本发明包括：基于NIFI的依赖触发流程配置功能，及在多任务相互依赖的情况下，解决重复汇总的问题，有效避免了资源浪费和汇总报错等问题，提高了整个数据仓库的执行效率，有效支撑了上层数据的应用。

技术领域

本发明涉及数据信息技术领域，具体地说是一种基于ETL进行数据仓库各层数据表汇总的自动触发方法。

背景技术

传统的数据仓库各层数据的采集汇总都是采用一个ETL流程实现或者是多个定时任务进行定时采集汇总实现。前者处理方法耦合性较强，一个环节出问题则会影响整体任务的进行，后者处理方法关联性太差，难以充分发挥整体执行效率。

ETL任务采用依赖触发的方式对数据进行采集汇总的过程中，如果一个任务A被多个其他任务依赖，则如果A任务重复采集或重复执行，则会触发后续多个相关任务的重复执行，如果依赖链条比较长的话，则会触发雪崩式待执行任务，对集群产生巨大资源浪费甚至压垮整个计算集群。

其次在基于Hadoop数仓的数据采集汇总过程中，在对数据进行重采、重新汇总的过程中，也往往会产生误触发的情况。这种情况很多是出现在维度表的更新时，维度表的更新往往会关联到多个事实表的汇总中，在正常的汇总流程中仅仅维度表的更新是不会触发事实表的更新的，但在重采、重新汇总等情况下则会发生。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种基于ETL进行数据仓库各层数据表汇总的自动触发方法。

本发明基于Hadoop的数据仓库各层数据采集汇总的依赖触发流程实现方法设计，主要解决在基于Hadoop数仓及ETL工具NIFI实现的采集汇总任务自动化执行过程中遇到的重复触发、错误触发问题，以及依赖触发流程可能产生的雪崩式待执行计算任务，对Hadoop集群造成的巨大压力等一些列问题，从而保障采集汇总任务的顺利有序执行。

本发明解决其技术问题所采用的技术方案是：

一种基于ETL进行数据仓库各层数据表汇总的自动触发方法，该方法基于Hdp大数据集群环境以及基于NIFI的定制开发功能实现的NIFI ETL任务的依赖触发能力，在Hdp大数据集群的Hive数据仓库上进行数据仓库的建模：包括ODS层、DWD层和DWS层和DM层；

通过ETL工具NIFI对电信网元产生的数据文件进行采集入库到大数据平台HIVE，HIVE可以将结构化文件映射为HIVE的一张表，这些原始文件映射的多张表都存储在HIVE的ODS层；

ODS层采集任务执行完成后，根据配置的触发条件触发DWD层数据的汇总任务执行，这一层汇总对数据进行清洗转换等操作形成原始明细数据的存储层；

根据一个或多个DWD层的汇总任务执行结果情况可以触发DWS层汇总任务的计算汇总，这一层汇总的结果对明细数据按维度进行汇总，为上层应用尽可能多的提供服务项，用于提供后续的业务查询和OLAP分析，

最后一层DM层的汇总数据供前台应用进行数据的查询，通过rowkey提供小数据量的数据即席查询服务。

进一步地，数据主要是电信行业的结构化的B域数据，包括三户信息数据、客户使用电信业务产生的用量信息、由此产生的计费信息等，例如语音用量数据、短信用量数据、数据用量数据和订购套餐数据等。

进一步地，所述DM层的汇总数据存储在HBASE中。

进一步地，基于NIFI定制开发的NIFI任务的依赖触发流程，实现方式如下：