[发明专利]一种构建企业数据仓库的数据整合方法及系统

说明书

本发明涉及数据仓库整合技术领域，且公开了一种构建企业数据仓库的数据整合方法及系统，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis上的企业数据仓库整合系统，该系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；数据抽取模块DEM把企业部门应用系统EAPPi内的数据抽取到企业数据仓库内；数据清洗模块DClM对数据进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作；数据加载模块DLM将数据按照企业数据仓库元数据定义的表结构装入企业数据仓库。本发明解决了如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，以实现构建统一企业数据仓库的技术问题。

技术领域

本发明涉及数据仓库整合技术领域，具体为一种构建企业数据仓库的数据整合方法及系统。

背景技术

现今大多数企业都有多个不同部门的应用系统，但是普遍存在的问题是，这些企业的应用系统不是建立于统一平台之上，数据库系统也是相互独立，甚至是异构系统，每个系统的数据都形成了一个独立的烟囱。可能每个部门数据资源已经很丰富，但是各系统之间数据不能相互连通。但要使数据发挥决策辅助作用，企业决策层组织需要看到的是一个企业跨职能部门的统一的数据联合展现和挖掘，因为单个部门的应用系统数据反映的仅仅是此部门的业务信息，而跨职能部门的数据联合分析将反映整个企业的发展状况和未来的发展趋势，所以不仅需要企业数据的纵向深入，同时也需要数据的横向联合。如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，建立统一的数据仓库，进而为企业不同角色的人员决策提供分析的可视化管理系统，成为急需要解决的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供一种构建企业数据仓库的数据整合方法及系统，目的是解决如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，以实现构建统一企业数据仓库的技术问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：

一种构建企业数据仓库的数据整合系统，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统服务端软件；

上述企业数据仓库整合系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；

该数据抽取模块DEM与数据清洗模块DClM进行相互之间的数据交互，数据清洗模块DClM与数据转换模块DCvM进行相互之间的数据交互，数据转换模块DCvM与数据加载模块DLM进行相互之间的数据交互。

进一步的，所述数据抽取模块DEM包括运行有数据抽取应用程序的抽取服务器ESe，该数据抽取应用程序根据事先制定的规范和数据标准，把企业部门应用系统EAPPi内的数据抽取到企业数据仓库内。

进一步的，所述数据清洗模块DClM包括运行有数据清洗应用程序的清洗服务器CtScl，该数据清洗应用程序对数据抽取模块DEM输出的数据进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作。

进一步的，所述数据转换模块DCvM包括运行有数据转换应用程序的转换服务器CScv，该数据转换应用程序对数据清洗模块DClM输出的数据按照需要的格式进行合并、汇总、过滤、转换操作。

进一步的，所述数据加载模块DLM包括运行有数据加载应用程序的加载服务器LSl，该数据加载应用程序负责将数据转换模块DCvM输出的数据按照企业数据仓库元数据定义的表结构装入数据仓库。

一种构建企业数据仓库的数据整合方法，包括以下步骤：

步骤一，数据抽取模块DEM首先制定数据抽取规范和数据抽取标准，然后向企业部门应用系统EAPPi进行数据抽取；