[发明专利]用于存储管理的方法、设备和计算机程序产品

权利要求书

1.一种用于存储管理的方法，包括：

在第一节点部署的第一存储服务处，获取在所述第一节点部署的第一计算服务对第一目标数据的第一请求，所述第一存储服务具有对远程存储装置的访问并且向所述第一计算服务提供与所述远程存储装置相同的访问接口，所述远程存储装置存储在所述第一计算服务要至少部分执行的任务中可重用的数据集，并且所述数据集包括所述第一目标数据；

基于所述第一请求，从所述远程存储装置或针对所述第一存储服务的本地存储空间获取所述第一目标数据；以及

向所述第一计算服务提供所述第一目标数据。

2.根据权利要求1所述的方法，其中所述任务包括由所述第一计算服务和在至少一个其他节点部署的其他计算服务共同执行的分布式深度学习任务，并且所述第一目标数据包括在所述分布式深度学习任务的一个时期中使用的数据。

3.根据权利要求1所述的方法，其中获取所述第一目标数据包括：

基于所述第一请求，确定所述第一目标数据是否被存储在所述第一节点的第一本地存储装置中；以及

根据确定所述第一目标数据被存储在所述第一本地存储装置中，从所述第一本地存储装置获取所述第一目标数据。

4.根据权利要求3所述的方法，其中所述任务由所述第一计算服务和在至少一个其他节点上部署的至少一个其他计算服务共同执行，并且所述第一存储服务具有分布式哈希表，所述分布式哈希表相关联地存储对所述数据集中的至少部分数据的标识进行哈希操作的哈希结果和所述至少部分数据在所述至少一个其他节点的其他本地存储装置或所述远程存储装置中的存储位置，并且获取所述第一目标数据包括：

根据确定所述第一目标数据未被存储在所述第一本地存储装置中：

从所述第一请求获取所述第一目标数据的标识；

通过对所述第一目标数据的所述标识进行哈希操作，生成针对所述第一目标数据的第一哈希结果；以及

基于所述第一哈希结果，使用所述分布式哈希表来获取所述第一目标数据。

5.根据权利要求4所述的方法，其中基于所述第一哈希结果使用所述分布式哈希表来获取所述第一目标数据包括：

确定所述第一哈希结果是否被存储在所述分布式哈希表中；

根据确定所述第一哈希结果被存储在所述分布式哈希表中，从所述分布式哈希表中与所述第一哈希结果相关联地存储的存储位置获取所述第一目标数据；以及

根据确定所述第一哈希结果未被存储在所述分布式哈希表中：

确定在所述至少一个其他节点部署的至少一个其他存储服务中的第二存储服务，对所述第二存储服务的标识进行哈希操作的第二哈希结果与所述第一哈希结果的相似度超过相似度阈值；

向所述第二存储服务发送用于确定所述第一目标数据的第一目标存储位置的第二请求；

从所述第二存储服务接收所述第一目标存储位置；以及

从所述第一目标存储位置获取所述第一目标数据。

6.根据权利要求5所述的方法，还包括：

根据从所述第一目标存储位置获取所述第一目标数据，将所述第一目标数据存储在所述第一本地存储装置中；以及

在所述分布式哈希表中相关联地存储所述第一哈希结果和所述第一目标存储位置。

7.根据权利要求1所述的方法，其中所述任务由所述第一计算服务和在至少一个其他节点部署的至少一个其他计算服务共同执行，所述方法还包括：

从在所述至少一个其他节点部署的至少一个其他存储服务中的第三存储服务获取用于确定第二目标数据的第二目标存储位置的第三请求；

基于所述第三请求，确定所述第二目标数据是否被存储在所述第一节点的第一本地存储装置中；

根据确定所述第二目标数据被存储在所述第一本地存储装置中，向所述第三存储服务发送所述第二目标数据在所述第一本地存储装置中的存储位置；以及

根据确定所述第二目标数据未被存储在所述第一本地存储装置中，基于对所述第二目标数据的标识进行哈希操作的第二哈希结果，使用所述第一存储服务对应的分布式哈希表来促使所述第二目标数据的第二目标存储位置被确定。