[发明专利]一种云环境中科学工作流数据集的存储方法

权利要求书

1.一种云环境中科学工作流数据集的存储方法，其特征在于，包括：

获取当前时间前科学工作流执行任务时产生的数据集，所述数据集包括起始数据集以及中间数据集；

基于所述数据集之间的依赖关系，建立依赖关系图；

基于所述数据集在所述依赖关系图中的不同的存储状态，确定多个存储策略；

计算每一个存储策略对应的存储成本；

获取待重新生成的目标中间数据集；

基于所述依赖关系图中的起始数据集至所述目标中间数据集之间的中间数据集的依赖关系，计算在每个存储策略下生成所述目标中间数据集的计算成本；

针对每个存储策略，基于该存储策略对应的存储成本以及所述计算成本，计算该存储策略的总成本；

确定总成本最小的存储策略为最优存储策略；

按照所述最优存储策略对应的数据集的存储状态，对所述数据集进行存储；

其中，所述存储状态包括：已存储和未存储；

所述计算每一个存储策略对应的存储成本的步骤，包括：

针对每个存储策略，使用存储成本计算公式计算该存储策略对应的存储成本；

其中，存储成本计算公式为：

StoreCost(d_i,t)＝Ps·Di·t

其中，StoreCost(d_i,t)表示存储成本，Ps表示云计算中存储资源的费用，Di表示被存储数据集的数据集大小，t表示为统计时间间隔；

所述基于所述依赖关系图中的起始数据集至所述目标中间数据集之间的中间数据集的依赖关系，计算在每个存储策略下生成所述目标中间数据集的计算成本的步骤，包括：

基于所述依赖关系图中的起始数据集至所述目标中间数据集之间的中间数据集的依赖关系，使用第一生成成本计算公式计算在每个存储策略下生成所述目标中间数据集的计算成本；

第一生成成本计算公式为：

ComputCost(d_i,t)＝R(d_i)·f_i

其中，ComputCost(d_i,t)表示计算成本，未存储数据集为Dd表示删除状态的数据集，R(d_i)表示被删除数据集d_i在重新生成时的计算成本，f_i表示删除数据集的数据集访问频次，i表示一个科学工作流任务中数据集的下标，t表示统计时间间隔；

所述针对每个存储策略，基于该存储策略对应的存储成本以及计算成本，计算该存储策略的总成本的步骤，包括：

针对每个存储策略，基于该存储策略对应的存储成本以及计算成本，使用总成本计算公式计算该存储策略的总成本；

其中，总成本计算公式为：

其中，TotalCost(D,X,t)表示总成本，X＝{x₁,x₂,…,x_n}，x_i＝1表示数据集d_i为存储状态，x_i＝0表示数据集d_i为删除状态，将总数据集D＝{d₁,d₂,…,d_i,…,d_n}分为存储的数据集Ds和删除的数据集Dd，总数据集D＝Ds∪Dd。

2.根据权利要求1所述的存储方法，其特征在于，所述基于所述数据集之间的依赖关系，建立依赖关系图的步骤包括：

将所述科学工作流执行的每个任务作为预设的有向无环图的节点，每个任务包括输入数据集以及输出数据集；

从第一个节点至最后一个节点中的任一当前节点，将当前数据集作为所述有向无环图的当前节点的输入，将依赖所述当前数据集生成的中间数据集作为所述当前节点的输出，将当前任务的执行时间作为当前数据集与依赖该当前数据集生成的中间数据集之间的连接权值，获得依赖关系图。

3.根据权利要求1所述的存储方法，其特征在于，所述基于所述数据集在所述依赖关系图中的不同的存储状态，确定多个存储策略的步骤包括：

在所述依赖关系图中从起始数据集至最后一个数据集的每一个路径，将每个路径上的数据集在所述关系依赖图中不同的存储状态，按照所述数据集在所述关系依赖图中的依赖顺序组成存储策略。