[发明专利]一种数据仓库智能构建装载方法及系统

权利要求书

1.一种数据仓库智能构建装载系统，其特征在于：包括：

模型输入模块，所述模型输入模块用于供用户输入Data Vault模型定义文件并生成Data Vault模型；

模型命名模块，所述模型命名模块用于根据Data Vault模型的命名规范，输出库、表、字段的名称；

建表模块，所述建表模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析模块，所述任务分析模块用于对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度模块，所述任务调度模块用于根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度；

还包括元数据校验补全模块，所述元数据校验补全模块用于根据Data Vault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全。

2.根据权利要求1所述的一种数据仓库智能构建装载系统，其特征在于：还包括字段数据类型适配模块，所述字段数据类型适配模块用于将Data Vault模型的字段的数据类型与元数据库的字段的数据类型进行适配。

3.根据权利要求1所述的一种数据仓库智能构建装载系统，其特征在于：所述数据抽取模块包括抽数工具，所述数据装载模块包括数据处理工具，所述任务调度模块包括调度工具，所述抽数工具、输出处理工具以及调度工具均以插件的形式存在于对应的模块中。

4.根据权利要求1所述的一种数据仓库智能构建装载系统，其特征在于：还包括配置模块，所述配置模块用于对数据库信息以及配置项进行配置。

5.一种数据仓库智能构建装载方法，其特征在于：该方法包括以下步骤：

模型输入步骤，根据输入Data Vault模型定义文件生成Data Vault模型；

校验补全步骤，根据Data Vault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全；

模型命名步骤，根据Data Vault模型的命名规范，输出库、表、字段的名称；

建表步骤，根据元数据校验补全模块补全后的Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析步骤，对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度步骤，根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度。

6.根据权利要求5所述的一种数据仓库智能构建装载方法，其特征在于：在校验补全步骤与建表步骤之间还包括：字段数据类型适配步骤，将Data Vault模型的字段的数据类型与元数据库的字段的数据类型进行适配。