[发明专利]一种用于数据集市和数据仓库的数据建模方法

说明书

本发明涉及数据集市及数据仓库的技术领域，具体为一种用于数据集市和数据仓库的数据建模方法，包括以下步骤：搭建总线架构步骤：抽取业务系统主数据进行自动整合，获得公共的一致性维度，构建标准总线接口；数据处理步骤：对业务数据表进行分类，根据分类结果自动筛选数据抽取方式抽取业务数据表；模型整合步骤：通过反三范式对业务数据表进行组合、拆分形成事实表和多个维度表，根据事实表和多个维度表构建以事实表为主的维度模型。采用本方案能够解决现有技术中由于各独立型数据集市由各用户或部门独立构建，其数据架构互相独立，无法复用，容易造成数据孤岛，同时也无法保证企业数据的规范性、一致性和准确性的技术问题。

技术领域

本发明涉及数据集市及数据仓库的技术领域，具体为一种用于数据集市和数据仓库的数据建模方法。

背景技术

数据仓库是指具有面向主题、集成性、稳定性和时变性等特征的数据集合，其主要是为决策分析提供数据支持。数据集市又称数据市场，是指满足特定部门或用户的需求，按照多维方式进行存储的数据集合，其数据可从企业级的数据仓库中抽取。

目前的数据集市可分为两种：一是从属型数据集市，自顶向下，以数据源为导向，其数据流向为数据源-数据仓库-数据集市，例如以业务系统的数据作为数据源，业务系统的数据通过清洗、加载、整合形成数据仓库，根据业务需求或部门需求从数据仓库中抽取数据构建数据集市，此时，数据集市为数据仓库的子集。二是独立型数据集市，自底向上，以业务需求为导向，其数据流向为数据源-数据集市-数据仓库，例如以业务系统的数据作为数据源，根据业务需求或部门需求从数据源抽取数据构建不同主题的数据集市，多个数据集市通过一系列公共维度递增构建数据仓库。

从属型数据集市主要采用关系建模法构建数据模型，例如第三范式，这种构建方式需要从全局考虑，对企业的业务系统全面进行梳理，并划分主题，构建符合第三范式的实体关系，从而构建数据规范性、数据一致性较好的数据模型，能够有效屏蔽上游业务系统的变化对下游应用的影响。但是该数据模型中数据的关联性较强，缺乏灵活性，响应性能易受影响，同时由于前期所需数据量较为冗杂，实施周期非常长，建设成本较大，同时对建模人员的要求非常高。

而独立型数据集市主要采用维度建模法构建数据模型，其数据模型主要包括星型模型和雪花模型，这种构建方式以分析决策的需求出发，例如从业务需求或部门需求出发，根据需求获取数据构建事实表和维度表，通过一个事实表和多个维度表构建宽表，从而实现OLAP快速分析，适应大规模复杂查询下的性能快速响应。但是独立型数据集市直接从数据源抽取数据，存在大量的数据预处理工作，同时由于各独立型数据集市由各用户或部门独立构建，其数据架构互相独立，无法复用，容易造成数据孤岛，也无法保证企业数据的规范性、一致性和准确性。

发明内容

本发明意在提供一种用于数据集市和数据仓库的数据建模方法，以解决现有技术中由于各独立型数据集市由各用户或部门独立构建，其数据架构互相独立，无法复用，容易造成数据孤岛，同时也无法保证企业数据的规范性、一致性和准确性的技术问题。

本发明提供如下基础方案：

一种用于数据集市和数据仓库的数据建模方法，包括以下步骤：

搭建总线架构步骤：根据预设的数据规范和数据标准进行自动整合，整合为公共的一致性维度作为主数据；构建标准总线接口，以实现各数据模型与各数据集市之间的数据交互；

系统分析步骤：对加载业务数据的业务系统进行自动分析，获取业务系统的业务流程以及业务数据流向，并根据业务流程和业务数据流向生成数据结果表，对数据结果表的表结构进行自动分析，并设定表结构中的主键字段；