[发明专利]基于SLA最小化跨站点数据分析成本的方法及装置

权利要求书

1.一种基于SLA最小化跨站点数据分析成本的方法，其特征在于，包括：

确定按照最小化作业完成时间策略执行数据处理作业的第一作业完成时间；

若第一作业完成时间小于等于设定的截止时间，确定按照最小化作业成本策略执行数据处理作业的第二作业完成时间；

若第二作业完成时间小于等于截止时间，则选取最小化作业成本策略执行数据处理作业，若第二作业完成时间大于截止时间，则调整每个站点的数据处理作业放置，使得在截止时间内能够以最小化的作业成本执行数据处理作业。

2.根据权利要求1所述的方法，其特征在于，所述调整每个站点的数据处理作业放置，使得在截止时间内能够以最小化的作业成本执行数据处理作业，包括：将所述最小化作业成本策略下的map阶段的传输数据量和reduce任务的比例按照一定的步长进行调整，使得按照调整后的map阶段的传输数据量和reduce任务的比例执行数据处理的作业完成时间小于所述截止时间。

3.根据权利要求2所述的方法，其特征在于，将所述最小化作业成本策略下的map阶段的传输数据量和reduce任务的比例按照一定的步长进行调整，使得按照调整后的map阶段的传输数据量和reduce任务的比例执行数据处理的作业完成时间小于所述截止时间，包括：若最小化作业成本策略下，从站点r到站点d的map阶段的传输数据量为，站点d执行reduce任务的比例为，最小化作业完成时间策略下，从站点r到站点d的map阶段的传输数据量为，站点d执行reduce任务的比例；设中间变量为，，首先将赋值给，将赋值给；按照步长为，则，当时，调整中间变量为，当时，调整中间变量为；当时，调整中间变量为，当时，调整中间变量为；按照调整后的中间变量、，获得相应的作业完成时间，当小于所述截止时间时，此时对应的中间变量为确定出的map阶段的传输数据量，为确定出的执行reduce任务的比例。

4.根据权利要求1所述的方法，其特征在于，还包括：对于每个站点，按照所述最小化作业完成时间策略执行具有多个阶段的数据处理作业的第三作业完成时间；若所述第三作业完成时间小于等于所述截止时间，确定按照所述最小化作业成本策略执行所述具有多个阶段的数据处理作业的第四作业完成时间；若所述第四作业完成时间大于所述截止时间，则调整每个站点的数据处理作业放置，使得在截止时间内能够以最小化的作业成本执行数据处理作业，得到调整后的第五作业完成时间；按照上述过程对每个站点进行处理之后，从小于截止时间的第四作业完成时间和所述第五作业完成时间中选取出最小的完成时间，确定所述最小的完成时间所对应的站点，利用该站点执行所述具有多个阶段的数据处理作业。

5.根据权利要求1所述的方法，其特征在于，所述最小化作业成本策略包括map阶段的任务放置策略和reduce阶段的任务放置策略；

所述map阶段的任务放置策略的线性规划模型为：

所述reduce阶段的任务放置策略的模型为：

其中，、C_map 、、分别表示数据聚合过程，map计算过程，shuffle过程和reduce 计算过程四个过程的成本，为站点d执行reduce任务的比例，为从站点r到站点d的map阶段的传输数据量，D为map阶段的输入数据，为站点r中的数据量。

6.根据权利要求5所述的方法，其特征在于，所述最小化作业完成时间策略包括map阶段的任务放置策略和reduce阶段的任务放置策略；

所述map阶段的任务放置策略的线性规划模型为：

（21）

所述reduce阶段的任务放置策略为:

其中，，，，分别表示数据聚合过程，map计算过程，shuffle过程和reduce计算过程四个过程的计算时间，，分别是站点r的上传带宽和下载带宽，，分别是站点d的上传带宽和下载带宽，,分别是站点d上的map阶段和reduce阶段的计算资源的数量，是站点d的计算资源数量，为站点d上的中间数据量，,分别是执行map阶段和reduce阶段的计算时间。