[发明专利]基于SLA最小化跨站点数据分析成本的方法及装置

说明书

本说明书一个或多个实施例提供一种基于SLA最小化跨站点数据分析成本的方法及装置，包括确定按照最小化作业完成时间策略执行数据处理作业时的第一作业完成时间；若第一作业完成时间小于等于设定的截止时间，确定按照最小化作业成本策略执行数据处理作业时的第二作业完成时间；若第二作业完成时间小于等于截止时间，则选取最小化作业成本策略执行数据处理作业，若第二作业完成时间大于截止时间，则调整每个站点的数据处理作业放置，使得在截止时间内能够以尽量低的作业成本执行数据处理作业。本说明书的方法能够实现数据处理作业的完成时间和成本达到均衡，解决跨站点数据处理的作业效率问题。

技术领域

本说明书一个或多个实施例涉及数据处理技术领域，尤其涉及一种基于SLA最小化跨站点数据分析成本的方法及装置。

背景技术

目前，许多数据提供商在不同地区部署了大量站点用于支持各种分布式数据应用。对跨地区跨站点分布的数据进行收集分析处理有利于制定更优的部署策略，从而节约资源；然而，跨区域的各站点存在容量、带宽、价格等资源方面的异构性，各站点同时执行大量数据处理会造成严重的地理分布资源销耗，且会出现很高的时延。如何在跨站点同时执行数据处理作业时，实现作业时间和成本的均衡，提高作业效率，维持合理成本，是本领域技术人员致力于解决的技术问题。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于SLA最小化跨站点数据分析成本的方法及装置，以解决跨站点数据处理的作业效率和成本问题。

基于上述目的，本说明书一个或多个实施例提供了一种基于SLA最小化跨站点数据分析成本的方法，包括：

确定按照最小化作业完成时间策略执行数据处理作业的第一作业完成时间；

若第一作业完成时间小于等于设定的截止时间，确定按照最小化作业成本策略执行数据处理作业的第二作业完成时间；

若第二作业完成时间小于等于截止时间，则选取最小化作业成本策略执行数据处理作业，若第二作业完成时间大于截止时间，则调整每个站点的数据处理作业放置，使得在截止时间内能够以最小化的作业成本执行数据处理作业。

可选的，所述调整每个站点的数据处理作业放置，使得在截止时间内能够以最小化的作业成本执行数据处理作业，包括：将所述最小化作业成本策略下的map阶段的传输数据量和reduce任务的比例按照一定的步长进行调整，使得按照调整后的map阶段的传输数据量和reduce任务的比例执行数据处理的作业完成时间小于所述截止时间。

可选的，将所述最小化作业成本策略下的map阶段的传输数据量和reduce任务的比例按照一定的步长进行调整，使得按照调整后的map阶段的传输数据量和reduce任务的比例执行数据处理的作业完成时间小于所述截止时间，包括：

若最小化作业成本策略下，从站点r到站点d的map阶段的传输数据量为，站点d执行reduce任务的比例为，最小化作业完成时间策略下，从站点r到站点d的map阶段的传输数据量为，站点d执行reduce任务的比例，所述步长为，则，当时，调整中间变量为，当时，调整中间变量为；当时，调整中间变量为，当时，调整中间变量为；按照调整后的中间变量、，获得相应的作业完成时间，当小于所述截止时间时，此时对应的中间变量为确定出的map阶段的传输数据量，为确定出的执行reduce任务的比例。