[发明专利]数据仓库清理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据仓库清理方法，其特征在于，包括下述步骤：

获取数据仓库的任务运行日志；

对所述任务运行日志进行解析，得到多维度MR任务属性；

基于所述多维度MR任务属性，分别生成各已有任务的多维度任务评估指标；

根据所述多维度任务评估指标，在所述各已有任务中确定待清理任务；

对所述待清理任务进行清理，完成数据仓库清理。

2.根据权利要求1所述的数据仓库清理方法，其特征在于，在所述获取数据仓库的任务运行日志的步骤之前，还包括：

获取已有任务；

生成所述已有任务的MR任务，其中，所述MR任务为mapreduce任务；

运行所述MR任务并对所述MR任务的运行过程进行监测，得到任务运行日志。

3.根据权利要求1所述的数据仓库清理方法，其特征在于，所述对所述任务运行日志进行解析，得到多维度MR任务属性的步骤包括：

通过HQL解析所述任务运行日志，以从预设的多个维度进行结构化信息提取，得到多维度MR任务属性。

4.根据权利要求1所述的数据仓库清理方法，其特征在于，所述基于所述多维度MR任务属性，分别生成各已有任务的多维度任务评估指标的步骤包括：

分别对各已有任务所对应的多维度MR任务属性进行ETL处理，得到所述各已有任务的多维度任务评估指标。

5.根据权利要求1所述的数据仓库清理方法，其特征在于，所述根据所述多维度任务评估指标，在所述各已有任务中确定待清理任务的步骤包括：

根据所述多维度任务评估指标，分别计算所述各已有任务的资源消耗评估值；

选取资源消耗评估值符合预设的资源消耗条件的已有任务，得到高消耗任务；

根据所述多维度任务评估指标，在所述各已有任务中选取符合预设的价值条件的已有任务，得到低价值任务；

将所述高消耗任务和所述低价值任务确定为待清理任务。

6.根据权利要求5所述的数据仓库清理方法，其特征在于，所述根据所述多维度任务评估指标，分别计算所述各已有任务的资源消耗评估值的步骤包括：

将所述多维度任务评估指标中的各指标进行标准化处理；

通过预设的权重算法，确定标准化处理后的所述各指标的指标权重；

对得到的指标权重和标准化处理后的所述各指标进行加权计算，得到所述各已有任务的资源消耗评估值。

7.一种数据仓库清理装置，其特征在于，包括：

日志获取模块，用于获取数据仓库的任务运行日志；

日志解析模块，用于对所述任务运行日志进行解析，得到多维度MR任务属性；

指标生成模块，用于基于所述多维度MR任务属性，分别生成各已有任务的多维度任务评估指标；

任务确定模块，用于根据所述多维度任务评估指标，在所述各已有任务中确定待清理任务；

任务清理模块，用于对所述待清理任务进行清理，完成数据仓库清理。

8.根据权利要求7所述的数据仓库清理装置，其特征在于，所述任务确定模块还包括：

消耗计算子模块，用于根据所述多维度任务评估指标，分别计算所述各已有任务的资源消耗评估值；

第一选取子模块，用于选取资源消耗评估值符合预设的资源消耗条件的已有任务，得到高消耗任务；

第二选取子模块，用于根据所述多维度任务评估指标，在所述各已有任务中选取符合预设的价值条件的已有任务，得到低价值任务；

任务确定子模块，用于将所述高消耗任务和所述低价值任务确定为待清理任务。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的数据仓库清理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的数据仓库清理方法的步骤。