[发明专利]一种云环境中科学工作流数据集的存储方法

说明书

本发明实施例提供的一种云环境中科学工作流数据集的存储方法，通过获取科学工作流任务执行产生的数据集后，根据数据集之间的依赖关系，得到数据集的依赖关系图，基于数据集在依赖关系图中的不同的存储状态，确定多个存储策略，计算每一个存储策略对应的存储成本；基于依赖关系图中的起始数据集至目标中间数据集之间的中间数据集的依赖关系，计算在每个存储策略下生成目标中间数据集的计算成本；针对每个存储策略，基于该存储策略对应的存储成本以及计算成本，计算该存储策略的总成本，确定总成本最小的存储策略为最优存储策略，按照最优存储策略对应的数据集的存储状态，对数据集进行存储，因此本发明实施例可以节省云环境中科学工作流存储数据集的代价。

技术领域

本发明属于云存储领域，具体涉及一种云环境中科学工作流数据集的存储方法。

背景技术

科学工作流系统是一种数据集密集型应用，在运行科学工作流任务期间通常会产生大量具有复杂依赖关系的中间数据集(中间结果)以及非中间数据集，中间数据集常常是科研工作不可或缺的数据集，这些中间数据集的数据集量庞大，需要在科学工作流管理过程中权衡这些中间数据集的存储以及删除，实现对数据集的管理。

在云环境中，基于云环境的按需付费特性，科学工作流运行需要按需付费(代价)，数据集不同，数据集管理策略的执行成本各不相同，需要在所有的管理策略中找到具有最优成本的策略，由于中间数据集在选择存储时需要耗费存储资源，支付相应的存储费用，因此常常选择性的删除中间数据集。中间数据集在删除后，再次使用该中间数据集时需要重新生成该中间数据集，生成该中间数据集的过程需要耗费计算资源，需支付相应的计算资源的费用(代价)，由于重新生成过程需要依赖在先的数据集，如何在较低代价下重新生成被删除的数据集，决定是否存储是丞待解决的一个技术问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种云环境中科学工作流数据集的存储方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供的一种云环境中科学工作流数据集的存储方法，包括：

获取当前时间前科学工作流执行任务时产生的数据集，所述数据集包括起始数据集以及中间数据集；

基于所述数据集之间的依赖关系，建立依赖关系图；

基于所述数据集在所述依赖关系图中的不同的存储状态，确定多个存储策略；

计算每一个存储策略对应的存储成本；

获取待重新生成的目标中间数据集；

基于所述依赖关系图中的起始数据集至所述目标中间数据集之间的中间数据集的依赖关系，计算在每个存储策略下生成所述目标中间数据集的计算成本；

针对每个存储策略，基于该存储策略对应的存储成本以及所述计算成本，计算该存储策略的总成本；

确定总成本最小的存储策略为最优存储策略；

按照所述最优存储策略对应的数据集的存储状态，对所述数据集进行存储；

其中，所述存储状态包括：已存储和未存储。

可选的，所述基于所述数据集之间的依赖关系，建立依赖关系图的步骤包括：

将所述科学工作流执行的每个任务作为预设的有向无环图的节点，每个任务包括输入数据集以及输出数据集；

从第一个节点至最后一个节点中的任一当前节点，将所述当前数据集作为所述有向无环图的当前节点的输入，将依赖所述当前数据集生成的中间数据集作为所述当前节点的输出，将当前任务的执行时间作为当前数据集与依赖该当前数据集生成的中间数据集之间的连接权值，获得依赖关系图。

可选的，所述基于所述数据集在所述依赖关系图中的不同的存储状态，确定多个存储策略的步骤包括：