[发明专利]一种数据仓库ETL操作系统

摘要

本发明属于数据处理方法或系统技术领域，尤其涉及一种数据仓库ETL操作系统。本发明的据仓库ETL操作系统实现了数据的实施抽取，大大减小了获取和处理原始数据的时间，通过抽取‑转换‑发布‑获取实现对数据转换以及加载的分布式处理，改变了传统的周期性作业执行步骤，降低了数据的延迟率，提高了数据的实时反应速度。

主权项

1.一种数据仓库ETL操作系统，其特征在于，含有i.用户交互模块，包括：1a.用于在数据集成以及数据流程中实现描述数据管理的交互管理组件；1b.用于定义原始数据和目标数据之间的映射关系、数据的转换关系、数据的处理流程、与ETL的交互过程的数据组件；1c.用于展示原始数据和目标数据之间的映射关系、数据转换关系、数据处理流程、与ETL交互过程的可视化组件；所述描述数据至少包括用于描述ETL具体操作过程的流程描述数据；包括流程内组件信息描述数据、各组件之间的配置关系描述数据；ii.作业管理模块，包括：2a.用于控制和改变作业流程的启动、作业类型、作业流程的控制方式并将其推送至作业执行组件的控制组件；2b.用于解析各作业流程对应的描述数据，构造作业流程间组织关系并推送至作业执行组件的分解组件；2c.用于完成不同作业流程之间以及作业流程控制方式的切换、启动的执行组件；所述执行组件直接或者定时或者周期性的执行由控制组件和/或分解组件推送的作业流程；依不同作业流程所需要的原始数据的实时性强弱对多个同时或者同时间段推送的作业流程进行排序后依强弱顺序先后执行；2d.用于完成作业流程中原始数据的预处理的转换组件；所述转换组件接收待处理数据后，利用数据行对象化工具将数据对象化为转换组件可处理的对象格式，对数据进行检索，根据数据的当前属性值与转换规则中规则进行匹配，对符合转换规则的数据进行转换和转发；2e.用于以分布式布置的作为数据服务器以及原始数据的缓存的响应组件；所述响应组件以异步模式方式执行，由原始数据组件和数据抽取组件获取的原始数据通过响应组件进行发布，各作业流程根据自身需求通过响应组件完成数据获取；iii.数据组件模块，包括：3a.用于存储存储和从原始数据对应设备或平台的数据库组件，包括原始数据组件数据抽取组件；所述数据抽取组件为与原始数据相应设备或平台无关的抽取工具；数据抽取组件针对实时作业流程采用直接点滴加载方式导入和存储在数据缓存区域，针对数据仓库以及非实时作业流程通过微批量加载的方式导入和存储在数据仓库；3b.文件操作组件；3c.记录组件。