[发明专利]一种基于数据压缩的大数据处理系统节能方法

说明书

本发明提供一种基于数据压缩的大数据处理系统节能方法，涉及大数据处理技术领域。该方法首先使用数据依赖模型描述输入作业，并测试选取的压缩算法的性能，接着建立读写块能耗模型计算该压缩算法读写数据块时对应的能耗，根据对应能耗优化条件，若压缩算法满足能耗优化条件则使用该压缩算法运行作业，否则基于能耗优化边界条件，确定算法优化区域，并寻找在优化区域内的节能压缩算法。本发明方法，对于给定大数据处理系统上的作业，该方法能判定选取的数据压缩算法是否满足该作业能耗优化的条件，进而能有效减少大数据处理系统中作业读写数据过程产生的能耗。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于数据压缩的大数据处理系统节能方法。

背景技术

目前许多数据中心都部署了大数据处理系统，如Hadoop和Spark等来运行作业。这些系统采用分布式架构来并行处理和高效存储作业的海量数据，因而在数据管理、数据挖掘和机器学习等方面得到了广泛的应用。尽管大数据处理系统性能较高，但随着系统需处理的数据爆发式增长，其消耗的能耗也迅速增长，对数据中心造成了不可忽略的电力开销，同时也给社会和环境带来了一定影响，因此大数据处理系统的能耗优化是当前热点的研究方向。

针对大数据处理系统的能耗优化，大体有硬件和软件两个方向。硬件方法由于主要针对特定硬件和架构，因此相比软件方法缺少通用性和灵活性。数据压缩作为一种常见的软件手段，除了应用于数据存储、无线传输等传统方向，也可能实现大数据处理系统的能耗优化。

数据压缩对于大数据处理系统，主要优化其读写数据过程中涉及的能耗，基本思路如下：对于读取数据，一方面数据压缩减少了数据大小，也减少了数据的读取时间和能耗；另一方面数据压缩导致读取的压缩数据需先解压才能被系统使用，而解压过程需要额外的时间和能耗。显然，当节省能耗大于额外能耗时，数据压缩可以优化系统读取能耗；当小于时则更加耗能。系统写入数据的能耗也是类似的规律。这两类能耗受压缩算法、大数据处理系统和其上运行的具体作业等因素影响，所以数据压缩实现节能综合考虑了这三个因素。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于数据压缩的大数据处理系统节能方法，针对给定的大数据处理系统中运行的特定作业，利用数据压缩算法，实现了该作业读写能耗的优化。

为解决上述技术问题，本发明所采取的技术方案是：一种基于数据压缩的大数据处理系统节能方法，包括以下步骤：

步骤1:基于数据依赖模型描述大数据处理系统中运行的作业；对于给定的用户输入作业，基于数据依赖模型输出该作业读写数据的具体情况，即作业中各个任务之间的读写数据的依赖关系和数据块数；

步骤1.1:建立数据依赖模型；所述数据依赖模型使用基于有向无环图的数据依赖图刻画出作业中任务之间的数据依赖和数据块大小，并使用方阵给出数据依赖图对应的数学表达；在该数据依赖模型下，作业由若干任务组成，任务以数据块为单位进行读写；

步骤1.2:基于数据依赖图，描述大数据处理系统中运行的作业中各任务之间的读写数据的依赖关系和数据块数；所述数据依赖图基于有向无环图，包含对应任务的节点和对应依赖的有向边，具体为：①节点对应任务，节点的值代表对应任务写入数据块的数量；②两节点之间的有向边表示源任务到目标任务间的依赖，有向边的值表示目标任务需从源任务读取的数据块数；③一条有向边从源任务指向目标任务，所述有向边既是该边所对应源任务的出边，也是该边所对应目标任务的入边；所述任务的出边是所有以该任务为源任务的有向边，而任务的入边是所有以该任务为目标任务的有向边；任务的出度和入度分别为任务出边和入边的条数；④入度为0的节点对应初始任务，该类任务输入作业的背景数据集；⑤出度为0的节点对应结果任务，该类任务输出作业的结果数据集；