[发明专利]一种用于数据集市和数据仓库的数据建模方法

权利要求书

1.一种用于数据集市和数据仓库的数据建模方法，其特征在于：包括以下步骤：

搭建总线架构步骤：根据预设的数据规范和数据标准进行自动整合，整合为公共的一致性维度作为主数据；构建标准总线接口，以实现各数据模型与各数据集市之间的数据交互；

系统分析步骤：对加载业务数据的业务系统进行自动分析，获取业务系统的业务流程以及业务数据流向，并根据业务流程和业务数据流向生成数据结果表，对数据结果表的表结构进行自动分析，并设定表结构中的主键字段；

数据处理步骤：数据平台包括技术缓冲层、偏源模型层和整合模型层，获取业务系统的业务数据传输到数据平台，通过加载脚本将业务数据加载到技术缓冲层；业务数据包括多个业务数据表，对技术缓冲层加载的业务数据表进行分类，根据分类结果自动筛选数据抽取方式和加载频率，并根据数据抽取方式和加载频率将对应的业务数据表抽取到偏源模型层；

模型整合步骤：抽取偏源模型层的业务数据表到整合模型层，通过反三范式对业务数据表进行组合、拆分形成不同的事实表，以及和事实表对应的多个维度表，根据事实表和对应的多个维度表构建以事实表为主的维度模型。

2.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：还包括共性加工步骤：数据平台还包括共性加工层，根据预设的共性需求从偏源模型层抽取业务数据，并加载至共性加工层，对抽取的业务数据进行整合自动生成共性基础表，并对共性基础表进行存储。

3.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：还包括应用集市步骤：数据平台还包括应用集市层，根据预设的应用需求定期从偏源模型层抽取业务数据，并加载至应用集市层，根据抽取的业务数据进行数据分析计算生成应用分析结果。

4.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：获取业务系统的业务数据传输到数据平台具体包括以下步骤：数据平台从业务系统抽取业务数据或由业务系统向数据平台推送业务数据。

5.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：对技术缓冲层加载的业务数据表进行分类，根据分类结果自动筛选数据抽取方式和加载频率，具体包括以下步骤：预设表类型，表类型包括流水表和状态表，根据表类型对技术缓冲层加载的业务数据表进行分类，数据抽取方式包括全量和增量，加载频率为日加载，根据流水表自动筛选出增量的数据抽取方式，根据状态表自动筛选出全量的数据抽取方式。

6.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：数据处理步骤中，通过ETL将业务数据表抽取到偏源模型层。

7.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：数据处理步骤中，通过拉链算法在保留偏源模型层的历史数据的基础上，存储抽取的业务数据表。

8.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：抽取偏源模型层的业务数据表到整合模型层，具体包括以下步骤：抽取偏源模型层的业务数据表，根据预设的数据映射规则和数据清洗规则对业务数据表进行处理，并将处理的业务数据表抽取到整合模型层。

9.根据权利要求1所述的用于数据集市和数据仓库的数据建模方法，其特征在于：通过反三范式对业务数据表进行组合、拆分形成不同的事实表，以及和事实表对应的多个维度表，具体包括以下步骤：在业务数据表中增加维度冗余，并整合多个业务数据表形成包含主数据的事实表，对事实表进行拆分，获得新增维度表。

10.根据权利要求8所述的用于数据集市和数据仓库的数据建模方法，其特征在于：数据清洗规则包括非空检核、主键重复、非法代码清洗、非法值清洗、数据格式检核、记录数检核和非空检核中的一种或多种。