[发明专利]一种基于数据持久化的Spark平台成本优化方法

说明书

本发明公开了一种基于数据持久化的Spark平台成本优化方法，包括构建基准成本率模型，构建目标应用程序的Attention‑DAG图即注意力‑有向无环图，结合Spark Checkpoint特性构建成本优化方案，根据成本优化方案对目标应用程序进行同环境配置下的执行等步骤。本发明的积极效果是：(1)提出一种广义分布式云计算环境下的基准成本率模型。对于具有不同工作特点的分布式计算框架来说，该基准成本率模型能够为评价优化算法的效果提供一种统一量纲的量化指标。(2)提出了一种基于数据持久化的Spark平台成本优化方法。该方法可作为一种成本优化的方法论，能够广泛用于任意具有持久化机制的系统或框架中，其核心思想是寻求计算成本与存储成本的平衡。

技术领域

本发明属于云计算领域，尤指一种基于数据持久化(persist)的Spark平台成本优化方法。

背景技术

分布式云平台资源成本的优化问题一直是各大云服务提供商重点关注的热点话题之一，因为尽可能地降低租户的租赁成本是提升各大云服务提供商竞争力的有效途径，同时也进一步实现云端资源利用率的最大化。

近些年，以基于内存迭代为特点的分布式计算框架Spark逐渐夺得工业界及学术界的青睐。在工业领域，Spark的成功应用案例已不计其数，例如腾讯广点通以及Yahoo的Audience Expansion都是Spark较早的应用成果；而在学术界，研究人员使用Spark快速处理一些较为庞大的数据，例如天文数据等。随着Spark版本的不断更新，其计算效率已不再是人们所关注的问题，庞大的生产集群逐渐产生昂贵的运维费用，而云端资源的不合理分配使得公司的成本问题愈加突显，因此，云端分布式计算框架在计算过程中的成本优化问题是当下各大IT公司亟待解决的难题之一。

以广义云端资源优化问题为研究背景的成果已有很多，同时近两年也逐渐涌现出一些针对特定分布式计算框架的资源优化成果。

1)彭舰，李亮亮，黎红友.一种混合云环境中动态多工作流调度执行的费用优化策略，CN107292419A[P].2017.

提出一种在混合云环境下动态多工作流调度的费用优化方法。该方法采用启发式调度算法为工作流分配私有云资源，并结合使用多约束的工作流分割思想，将原始流分解为子工作流，并分别调度到合适的公有云中执行，一定程度上提高混合云场景下的资源利用率。

2)王国路，徐俊刚，刘仁峰.一种Spark平台性能自动优化方法，CN105868019A[P].2016.

该发明提出一种Spark平台的性能自动优化方法。根据Spark的执行原理进行性能建模，通过获取历史Spark运行时的性能数据来估计Spark性能模型的参数，在有限参数空间中选出最优性能参数组合。该方法有助于快速完成对Spark特定应用程序的性能优化。

通过近两年的相关专利情况来看，无论是广义云平台或是特定分布式计算框架，其研究成果大多集中在性能优化或是资源调度优化。而在海量数据处理的背景下，除了关注分布式计算框架的性能优化外，如何降低整个应用程序的资源消耗成本，同样是是当下人们关注的焦点问题之一。

云端数据的状态有两种：计算或是存储。对于当下集群按需收费的模式，且计算资源单价远高于存储资源单价，因此，可以在平衡两种数据状态间找到合适的策略以降低整个作业的资源消耗成本。这些基准成本由CPU利用率、磁盘消耗、网络传输消耗以及内存占用所组成。因此，对于云计算环境中资源消耗的成本问题，需要在上述四个因素中找到权衡。

发明内容

鉴于当下云计算资源按需收费，且计算资源单价远高于存储的现状，本发明的目的是在平衡两种数据状态间找到合适的策略以降低整个作业的资源消耗成本。

实现本发明目的的技术方案如下：

一种基于数据持久化的Spark平台成本优化方法，包括：