[发明专利]数据仓库清理方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据领域，涉及一种数据仓库清理方法、装置、计算机设备及存储介质，方法包括：获取数据仓库的任务运行日志；对任务运行日志进行解析，得到多维度MR任务属性；基于多维度MR任务属性，分别生成各已有任务的多维度任务评估指标；根据多维度任务评估指标，在各已有任务中确定待清理任务；对待清理任务进行清理，完成数据仓库清理。此外，本申请还涉及区块链技术，任务运行日志可存储于区块链中_。本申请减少了数据仓库的资源浪费。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据仓库清理方法、装置、计算机设备及存储介质。

背景技术

随着大数据技术的发展，各类机构的生产经营活动越来越倚靠大数据技术。例如在金融保险领域，业务以任务的形式存在于大数据平台，相关数据被存储于数据仓库中。随着时间的延长以及业务的增多，这些任务会占用大量的存储资源以及计算资源。然而，当前的数据仓库清理大多是通过人工实现，人工清理数据仓库往往因为对任务评估不准确，无法对数据仓库进行有效清理，导致数据仓库的资源浪费。

发明内容

本申请实施例的目的在于提出一种数据仓库清理方法、装置、计算机设备及存储介质，以减少数据仓库的资源浪费。

为了解决上述技术问题，本申请实施例提供一种数据仓库清理方法，采用了如下所述的技术方案：

获取数据仓库的任务运行日志；

对所述任务运行日志进行解析，得到多维度MR任务属性；

基于所述多维度MR任务属性，分别生成各已有任务的多维度任务评估指标；

根据所述多维度任务评估指标，在所述各已有任务中确定待清理任务；

对所述待清理任务进行清理，完成数据仓库清理。

进一步的，在所述获取数据仓库的任务运行日志的步骤之前，还包括：

获取已有任务；

生成所述已有任务的MR任务，其中，所述MR任务为mapreduce任务；

运行所述MR任务并对所述MR任务的运行过程进行监测，得到任务运行日志。

进一步的，所述对所述任务运行日志进行解析，得到多维度MR任务属性的步骤包括：

通过HQL解析所述任务运行日志，以从预设的多个维度进行结构化信息提取，得到多维度MR任务属性。

进一步的，所述基于所述多维度MR任务属性，分别生成各已有任务的多维度任务评估指标的步骤包括：

分别对各已有任务所对应的多维度MR任务属性进行ETL处理，得到所述各已有任务的多维度任务评估指标。

进一步的，所述根据所述多维度任务评估指标，在所述各已有任务中确定待清理任务的步骤包括：

根据所述多维度任务评估指标，分别计算所述各已有任务的资源消耗评估值；

选取资源消耗评估值符合预设的资源消耗条件的已有任务，得到高消耗任务；

根据所述多维度任务评估指标，在所述各已有任务中选取符合预设的价值条件的已有任务，得到低价值任务；

将所述高消耗任务和所述低价值任务确定为待清理任务。

进一步的，所述根据所述多维度任务评估指标，分别计算所述各已有任务的资源消耗评估值的步骤包括：

将所述多维度任务评估指标中的各指标进行标准化处理；

通过预设的权重算法，确定标准化处理后的所述各指标的指标权重；