[发明专利]一种基于数据仓库的数据处理方法

权利要求书

1.一种基于数据仓库的数据处理方法，其特征在于，包括：

原子层获取结构化的第一数据；

所述原子层按照预设形式，对所述第一数据进行组织归类，获得第二数据；

所述原子层对组织归类后的所述第二数据进行分区存储；

所述原子层将所述第二数据更新至整合层；

所述整合层根据预设的整合规则，对所述第二数据进行合并处理，生成第三数据并存储；

在所述整合层根据预设的整合规则，对所述第二数据进行合并处理的步骤之前，还包括：

所述整合层根据数据的非空优先原则、数据的优先级、数据的时效性、少数服从多数原则、常识性中的一种或多种，建立整合规则；其中所述数据的优先级包括数据的权威性；数据的时效性包括数据的最近更新时间；

在所述建立整合规则的步骤之后，还包括：

所述整合层获取样本数据；

根据所述样本数据，对建立的所述整合规则进行验证；若验证通过，则执行所述整合层根据预设的整合规则，对所述第二数据进行合并处理，生成第三数据并存储的步骤；

若验证没有通过，则重新执行所述整合层根据数据的权威性、及时性、少数服从多数原则、常识性中的一种或多种，建立整合规则的步骤；

所述根据所述样本数据，对建立的所述整合规则进行验证具体包括：

若样本数据符合整合规则的概率小于预设阈值，则验证不通过；若样本数据符合整合规则的概率不小于预设阈值，则验证通过；

所述整合层将所述第三数据更新至集市层；

所述集市层通过关联方式，拼接所述第三数据中的片段表，生成基础宽表；

所述集市层根据所述基础宽表，生成统计指标表。

2.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，所述原子层对组织归类后的所述第一数据进行分区存储，包括：

所述原子层根据数据来源、数据周期、业务分类、关系类型中的一种或多种，对组织归类后的所述第一数据进行分区存储。

3.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，在所述原子层获取结构化的第一数据的步骤之前，还包括：

缓冲层缓存结构化的不同来源的源数据；并对所述源数据添加时间戳，生成缓冲数据，并存储；

所述缓冲层将所述缓冲数据更新至贴源层；

所述贴源层对所述缓冲数据进行标准化处理，生成第一数据，并存储。

4.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，还包括：

所述原子层根据预设时间周期，将所述第二数据发送给大数据库；

所述大数据库对所述第二数据进行存储。

5.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，还包括：

所述原子层根据预设时间，覆盖更新所述第二数据的资料类数据。

6.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，还包括：

所述原子层实时获取所述第一数据的增量数据；

根据所述增量数据对所述第二数据进行更新。