[发明专利]一种数据仓库智能构建装载方法及系统

说明书

本发明涉及数据仓库构建管理系统技术领域，具体为一种数据仓库智能构建装载方法以及一种数据仓库智能构建装载系统，该系统包括模型输入模块，所述模型输入模块用于供用户输入Data Vault模型定义文件并生成Data Vault模型；模型命名模块，所述模型命名模块用于根据Data Vault模型的命名规范，输出库、表、字段的名称；建表模块，所述建表模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句，该方法基于以上系统实现。本发明提供的一种数据仓库智能构建装载系统，能够自动化的实现数据抽取、数据加工以及任务调度，减少开发和维护的工作量，提高企业数据仓库构建和维护的效率。

技术领域

本发明涉及数据仓库构建管理系统技术领域，具体为一种数据仓库智能构建装载方法及系统。

背景技术

Data Vault模型是面向细节的，可追踪历史的，综合了第三范式和星型模型优点的新一代的数据仓库模型。基于Data vault模型的企业级数据仓库的建立和维护是一个复杂的工程，包含Data vault建模、数据仓库初始化、数据抽取任务开发、数据加工任务开发、任务调度开发等诸多任务。现有技术需要很长的开发周期，并且涉及数据分析师、数据开发工程师、调度工程师等诸多类型的专业技术人员，当业务逻辑发生变更时需要大量重复的开发工作。

专利CN201510272096.1公开了一种基于原始业务库的表逻辑关系，自动生成数据仓库的Data vault模型以及完成数据仓库的初始化的自动化构建方法及装置，不足之处在于业务逻辑关系十分的复杂，表逻辑关系难以完全覆盖；并且基于性能方面的原因，生产环境数据库一般都不建立外键和约束关系，表之间的关联关系很难直接拿到。更重要的是，该方法中并未实现后续的数据抽取、数据加工、任务调度等诸多步骤的自动化，而这些环节占了数据仓库开发和维护的大部分工作量。

发明内容

本发明意在提供一种数据仓库智能构建装载方法及系统，能够自动化的实现数据抽取、数据加工以及任务调度，减少开发和维护的工作量，提高企业数据仓库构建和维护的效率。

为了解决上述技术问题，本专利提供如下技术方案：

一种数据仓库智能构建装载系统，包括：

模型输入模块，所述模型输入模块用于供用户输入Data Vault模型定义文件并生成Data Vault模型；

模型命名模块，所述模型命名模块用于根据Data Vault模型的命名规范，输出库、表、字段的名称；

建表模块，所述建表模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析模块，所述任务分析模块用于对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度模块，所述任务调度模块用于根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度。