[发明专利]大数据平台数据仓库数据处理方法、装置和计算机设备

权利要求书

1.一种大数据平台数据仓库数据处理方法，其特征在于，所述数据仓库的数据仓库层包括数据预处理层和数据汇总层，所述数据汇总层依赖于所述数据预处理层；所述处理方法，包括：

获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表；

通过所述数据汇总层将所述公共数据表与其它无需预处理的数据表进行汇总。

2.根据权利要求1所述的大数据平台数据仓库数据处理方法，其特征在于，所述获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表的步骤，包括：

判断待预处理的所述源数据表的数量；

若所述源数据表的数量大于等于两个，则判断各所述源数据表之前的依赖关系；

将存在依赖关系的各源数据表的第一顺位表，以及与其它源数据表没有依赖关系的离散源数据表并发进行预处理，将有依赖关系的源数据表根据依赖顺序进行预处理。

3.根据权利要求2所述的大数据平台数据仓库数据处理方法，其特征在于，所述判断待预处理的所述源数据表的数量的步骤之前，包括：

判断所述大数据平台的运行资源使用率；

根据所述运行资源使用率确定对所述源数据表的并发线程数量。

4.根据权利要求1所述的大数据平台数据仓库数据处理方法，其特征在于，所述通过所述数据汇总层将所述公共数据表与其它无需预处理的数据表进行汇总的步骤，包括：

通过所述数据汇总层直接使用所述公共数据表，与其它无需预处理的数据表进行汇总。

5.根据权利要求1所述的大数据平台数据仓库数据处理方法，其特征在于，所述获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表的步骤之前，包括：

判断当前时间是否为预设的批处理时间段：

若是，则生成对所述大数据平台数据仓库数据处理的命令。

6.根据权利要求1所述的大数据平台数据仓库数据处理方法，其特征在于，所述判断当前时间是否为预设的批处理时间段的步骤之前，包括：

将所述源数据层中的源数据表根据业务模块进行分类；

给不同分类的源数据表设定预设的所述批处理时间段。

7.根据权利要求6所述的大数据平台数据仓库数据处理方法，其特征在于，所述给不同分类的源数据表设定预设的所述批处理时间段的步骤之后，包括：

当所述源数据表在指定的批处理时间段进行批处理时，获取该元数据表的数据量；

根据所述数据量调整所述批处理时间段的时间长度。

8.一种大数据平台数据仓库数据处理装置，其特征在于，所述数据仓库的数据仓库层包括数据预处理层和数据汇总层，所述数据汇总层依赖于所述数据预处理层；所述处理装置，包括：

预处理单元，用于获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表；

汇总单元，用于通过所述数据汇总层将所述公共数据表与其它无需预处理的数据表进行汇总。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。