[发明专利]一种云计算环境下安全感知的科学工作流调度方法

说明书

技术领域

本发明涉及数据密集型科学工作流的调度方法，特别是一种云计算环境下安全感知的科学工作流调度方法。

背景技术

云计算是一种典型的网络计算模式，强调在虚拟计算环境下运行大规模应用的可伸缩性和可用性。基于云计算的大型网络应用呈现异出分布、异构的特点和数据密集的趋势，如科学工作流系统，这类应用被称为数据密集型应用。目前数据密集型应用已被广泛的应用于天文学、高能物理学以及生物信息学等领域。这类应用的数据密集性主要体现在其处理的数据大小通常达TB级甚至PB级，其中既有已存在的输入数据源，也有在对数据进行分析和处理的过程中产生的中间数据和最终结果数据，而通过流程管理技术可以实现这类数据密集型应用的自动化执行。但是科学工作流在利用云计算环境的过程中遇到了一些新的问题，其中在如何保证数据安全和工作流性能方面显得尤为突出。一方面，由于云计算环境的开放性和共享性，数据安全是科学工作流部署到云计算环境下必须要考虑的问题，尤其是那些关键应用，如地震预测等；另一方面，由于数据密集型科学工作流具有数据量巨大、任务多的特点，对数据加密势必会带来一定的性能开销，因此如何在保证数据安全的同时兼顾工作流的执行性能（主要指调度的时间）是亟待解决的重要问题之一；合理的调度方法可以在不影响科学工作流调度长度的同时来提高科学工作流整体安全级别。

科学工作流调度技术是针对云计算环境下科学工作流自身的特点，从保证科学工作流调度性能和提高数据安全性两方面对科学工作流进行调度。科学工作流具有任务个数多、数据量大的特点，其中任务之间具有相互依赖的关系，这种依赖关系一般体现在数据之间的依赖关系。因此在进行任务调度的时候，综合考虑任务之间的依赖关系、数据的安全服务和科学工作流的调度性能等因素，为任务选择合适的执行位置，以达到在保证科学工作流性能的情况下提高科学工作流数据的安全服务级别。

在云计算环境中，科学工作流数据调度的一般方法是：先根据一定的QoS目标（一般指科学工作流的性能）为科学工作流中的单个任务选择指定的数据中心执行任务，然后在运行科学工作流任务的时候根据任务的依赖关系以及执行位置依次执行科学工作流中的任务，任务运行过程中根据布局策略把产生的数据放置到指定的数据中心上。由于云计算环境的开放性、多租户等特性，安全问题是部署科学工作流到云计算环境下亟待解决的重要问题之一，因此在云计算环境下调度执行科学工作流的时候应该考虑提高科学工作流的数据安全服务级别同时兼顾性能。

目前，国内外关于云计算环境下科学工作流调度问题的研究较少，当前的工作大多是针对网格环境的，并且主要侧重于如何提高科学工作流调度性能：

澳大利亚的Ke Liu等人提出了一种云计算环境下针对实例密集型工作流的基于时间和成本调度算法，充分考虑数用户对调度时间和成本两方面的要求，对云计算环境下实例密集型的工作流进行调度，从而满足用户对调度时间和成本的要求。

上海交通大学的伍民友等人提出了MCP（Modified Critical-Path）算法用于在分布式计算系统中调度基于DAG（Directed Acyclic Graphs）的任务，如并行任务、科学工作流等，实验表明此算法具有较好的性能。

然而，云计算环境作为一个开放的环境，允许多用户共享硬件资源，如何在保障科学工作流调度性能的前提下提高数据安全服务级别是部署科学工作流到云计算环境下面临的问题之一。然而上述云计算环境下科学工作流数据调度方面的研究，并没有综合考虑科学工作流的数据安全和性能。

发明内容

本发明的目的是提出一种基于MCP算法同时利用科学工作流非关键任务的空闲时间做数据安全服务的云计算环境下安全感知的科学工作流调度方法。本发明提出的调度方法的优势在于能以较小的性能开销来对科学工作流非关键任务的数据做安全服务，以达到提高科学工作流数据整体安全服务级别同时兼顾科学工作流性能的目的。

为了实现上述目的，本发明的技术方案是：

一种云计算环境下安全感知的科学工作流调度方法，包括以下步骤

第一步：先计算出科学工作流中各个任务的最早开始时间和最晚开始时间；

第二步：根据科学工作流中单个任务的最早开始时间和最晚开始时间计算出单个任务的空闲时间；

第三步：根据安全服务模型和科学工作单个任务的空闲时间，对单个任务的数据采取相应的安全服务，同时更新后继任务的空闲时间。