[发明专利]一种基于数据仓库的数据处理方法

说明书

本发明提供一种基于数据仓库的数据处理方法。所述方法，包括：原子层获取结构化的第一数据；原子层按照预设形式，对第一数据进行组织归类，获得第二数据；原子层对组织归类后的第二数据进行分区存储；原子层将第二数据更新至整合层；整合层根据预设的整合规则，对第二数据进行合并处理，生成第三数据并存储。原子层通过按照预设形式，对第一数据进行组织归类，能够有效地避免数据冗余、数据缺失等情况带来的数据不一致，减少维护成本。通过对组织归类后的第一数据进行分区存储，便于对信息进行溯源。整合层通过对第二数据进行合并处理，能够使多源数据整合成唯一的信息，进而消除数据的多义性，保证数据具有唯一准确性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于数据仓库的数据处理方法。

背景技术

随着公司在大数据城市项目的扩张计划和部署，大数据城市数据仓库项目将是每一个城市的基石项目，它是所有其它数据项目的倍增器和助推器。

现有技术中，数据仓库往往会有数据冗、数据缺失等情况，进而会造成数据不一致，增加维护成本；另外，数据仓库的数据往往来源庞杂，数据具有多义性，数据仓库的准确性较低。

发明内容

针对现有技术中的上述缺陷，本发明提供了一种基于数据仓库的数据处理方法及系统，可以有效避免数据冗余、数据缺失等情况带来的数据不一致，降低维护成本，同时，能够消除数据的多以性，进而增加数据仓库的准确性。

本发明提供的一种基于数据仓库的数据处理方法，包括：

原子层获取结构化的第一数据；

所述原子层按照预设形式，对所述第一数据进行组织归类，获得第二数据；

所述原子层对组织归类后的所述第二数据进行分区存储；

所述原子层将所述第二数据更新至整合层；

所述整合层根据预设的整合规则，对所述第二数据进行合并处理，生成第三数据并存储。

可选的，所述原子层对组织归类后的所述第一数据进行分区存储，包括：

所述原子层根据数据来源、数据周期、业务分类、关系类型中的一种或多种，对组织归类后的所述第一数据进行分区存储。

可选的，在所述整合层根据预设的整合规则，对所述第二数据进行合并处理的步骤之前，还包括：

所述整合层根据数据的非空优先原则、数据的优先级、数据的时效性、少数服从多数原则、常识性中的一种或多种，建立整合规则。

可选的，在所述建立整合规则的步骤之后，还包括：

所述整合层获取样本数据；

根据所述样本数据，对建立的所述整合规则进行验证；若验证通过，则执行所述整合层根据预设的整合规则，对所述第二数据进行合并处理，生成第三数据并存储的步骤；

若验证没有通过，则重新执行所述整合层根据数据的权威性、及时性、少数服从多数原则、常识性中的一种或多种，建立整合规则的步骤。

可选的，在所述原子层获取结构化的第一数据的步骤之前，还包括：

缓冲层缓存结构化的不同来源的源数据；并对所述源数据添加时间戳，生成缓冲数据，并存储；

所述缓冲层将所述缓冲数据更新至贴源层；

所述贴源层对所述缓冲数据进行标准化处理，生成第一数据，并存储。

可选的，还包括：

所述原子层根据预设时间周期，将所述第二数据发送给大数据库；

所述大数据库对所述第二数据进行存储。