[发明专利]一种构建企业数据仓库的数据整合方法及系统

权利要求书

1.一种构建企业数据仓库的数据整合方法，其特征在于，包括以下步骤：

步骤一，数据抽取模块DEM首先制定数据抽取规范和数据抽取标准，然后向企业部门应用系统EAPPi进行数据抽取；

其中，上述数据抽取模块DEM的数据抽取具体操作步骤包括：

步骤S1，若数据抽取模块DEM为第一次向企业部门应用系统EAPPi抽取数据，则企业部门应用系统EAPPi随机选取安全通信密码(pi₁∥pi₂)；

其中，pi₁和pi₂均为二进制序列，其长度均为l，并且l为偶数；

当数据抽取模块DEM请求与企业部门应用系统EAPPi进行数据交互时，企业部门应用系统EAPPi向数据抽取模块DEM传输安全通信密码(pi₁∥pi₂)，同步地数据抽取模块DEM向企业部门应用系统EAPPi输送由高信号(1)和低信号(0)所组成的随机通信信号(si₁∥si₂)；

其中，si₁和si₂均为二进制序列，其长度均为l，并且l为偶数；

在数据抽取模块DEM与企业部门应用系统EAPPi之间传输的是叠加信号(Ti₁∥Ti₂)，数据抽取模块DEM计算得到安全通信密码(pi₁∥pi₂)＝(Ti₁∥Ti₂)-(si₁∥si₂)；

若数据抽取模块DEM为非第一次向企业部门应用系统EAPPi抽取数据，当数据抽取模块DEM请求与企业部门应用系统EAPPi进行数据交互时，则企业部门应用系统EAPPi在向数据抽取模块DEM传输数据Dj(j＝1,2,…,m)之前，对该数据Dj进行加密计算，具体为：

Cdj₁＝Dj⊕pi₁；

Cdj₂＝Dj⊕pi₂；

其中，Dj为二进制序列，其长度为l，并且l为偶数；

之后，企业部门应用系统EAPPi将数据Dj的密文Cdj₁和Cdj₂传输给数据抽取模块DEM；

步骤S2，数据抽取模块DEM接收到数据Dj的密文Cdj₁和Cdj₂之后，开始进行如下计算：

Cdj₁'＝Cdj₁⊕pi₁；

Cdj₂'＝Cdj₂⊕pi₂；

之后验证等式Cdj₁'＝Cdj₂'是否成立；

若上述等式Cdj₁'＝Cdj₂'成立，证明数据Dj是企业部门应用系统EAPPi所传输的，则通过对密文Cdj₁和Cdj₂进行解密处理，计算得到数据Dj的明文EDj＝Cdj₁'＝Cdj₂'；

步骤二，数据抽取模块DEM将从企业部门应用系统EAPPi中抽取得到的数据EDj传输给数据清洗模块DClM，数据清洗模块DClM对数据EDj进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作，得到数据ClDj；

步骤三，数据清洗模块DClM将数据ClDj传输给数据转换模块DCvM，数据转换模块DCvM将数据ClDj按照需要的格式进行合并、汇总、过滤、转换的操作，得到数据CvDj；

步骤四，数据转换模块DCvM将数据CvDj传输给数据加载模块DLM，数据加载模块DLM将数据CvDj按照企业数据仓库元数据定义的表结构装入企业数据仓库。

2.根据权利要求1所述数据整合方法的数据整合系统，其特征在于，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统服务端软件；

上述企业数据仓库整合系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；

该数据抽取模块DEM与数据清洗模块DClM进行相互之间的数据交互，数据清洗模块DClM与数据转换模块DCvM进行相互之间的数据交互，数据转换模块DCvM与数据加载模块DLM进行相互之间的数据交互。