[发明专利]一种基于数据压缩的大数据处理系统节能方法

权利要求书

1.一种基于数据压缩的大数据处理系统节能方法，其特征在于：包括以下步骤：

步骤1:基于数据依赖模型描述大数据处理系统中运行的作业；对于给定的用户输入作业，基于数据依赖模型输出该作业读写数据的具体情况，即作业中各个任务之间的读写数据的依赖关系和数据块数；

步骤2:描述数据压缩算法；对于给定作业的数据类型，测量选取压缩算法的性能，并使用元组v_c,v_d,k表征该压缩算法，其中，v_c为压缩内存中原始数据块的速度，即压缩速度，其大小等于每秒被压缩的未压缩数据大小；v_d为解压内存中压缩数据块的速度，即解压速度，其大小等于每秒被解压的压缩数据大小；k∈(0,1]为压缩比，其等于数据块压缩后与压缩前大小的比值；

步骤3:测算压缩算法的读取和写入一个数据块的能耗；建立读写块能耗模型，并将给定压缩算法带入模型，再测量模型中有关大数据处理系统的参数值，最后计算出读取或写入一个压缩或未压缩数据块的能耗；

步骤4:判断压缩算法能否实现能耗优化；从数据块、任务和作业三个层次依次判断压缩算法是否满足能耗优化条件；若压缩算法满足当前层次的能耗优化条件，则执行步骤6对大数据处理系统中的作业使用该压缩算法进行数据压缩；若不满足，则判断该压缩算法是否满足下一层次的能耗优化条件；若该压缩算法不满足所有层次的能耗优化条件则执行步骤5进一步确定优化能耗所需的具体条件，或执行步骤7不带压缩地运行该作业；

步骤5：确定数据压缩优化能耗的条件；首先遍历作业G＝T,M得出作业中任务的写入数据块的个数和读写比，确定压缩算法进行数据压缩的能耗优化边界条件，再基于压缩优化能耗边界条件，计算并画出对应的能耗优化边界线，得出实现能耗优化对应的压缩算法的区域；

步骤6：对作业使用该压缩算法优化能耗，作业运行中使用解压读和压缩写来读写压缩块；

步骤7：不进行数据压缩直接运行作业，在作业运行中使用原始读和原始写来读写数据块。

2.根据权利要求1所述的一种基于数据压缩的大数据处理系统节能方法，其特征在于：所述步骤1的具体方法为：

步骤1.1:建立数据依赖模型；所述数据依赖模型使用基于有向无环图的数据依赖图刻画出作业中任务之间的数据依赖和数据块大小，并使用方阵给出数据依赖图对应的数学表达；在该数据依赖模型下，作业由若干任务组成，任务以数据块为单位进行读写；

步骤1.2:基于数据依赖图，描述大数据处理系统中运行的作业中各任务之间的读写数据的依赖关系和数据块数；所述数据依赖图基于有向无环图，包含对应任务的节点和对应依赖的有向边，具体为：①节点对应任务，节点的值代表对应任务写入数据块的数量；②两节点之间的有向边表示源任务到目标任务间的依赖，有向边的值表示目标任务需从源任务读取的数据块数；③一条有向边从源任务指向目标任务，所述有向边既是该边所对应源任务的出边，也是该边所对应目标任务的入边；所述任务的出边是所有以该任务为源任务的有向边，而任务的入边是所有以该任务为目标任务的有向边；任务的出度和入度分别为任务出边和入边的条数；④入度为0的节点对应初始任务，该类任务输入作业的背景数据集；⑤出度为0的节点对应结果任务，该类任务输出作业的结果数据集；

步骤1.3:将步骤1.2中作业对应的数据依赖图，转化为G＝T,M的形式输出，其中，T＝{t₁,t₂,...,t_n}表示数据依赖图中任务的集合，n为数据依赖图中任务总数，而M为n×n矩阵则表示数据依赖图中任务间的数据读写情况；在方阵M中，每个非对角线元素m_i,j表示任务t_i到t_j的依赖，i,j∈[1,n]且i≠j，即t_j需从t_i的输出块中读取m_i,j个数据块作为任务t_j的输入块；每个对角线上的元素m_i,j表示数据块数，对于非初始任务表示其输出块数，而对于初始任务表示输入背景数据的块数。