[发明专利]一种分布式存储系统数据管理方法

说明书

本发明公开一种分布式存储系统数据管理方法，包括及时任务模式、定时任务模式和策略模式，所述策略模式下的数据管理方法包括以下步骤：S31、发起数据管理请求；S32、接收到数据管理请求；S33、将数据管理请求分发到组成存储系统的每一个服务器上；S34、每台服务器将数据管理请求记录到待执行队列中；S35、服务器上设置定时的状态收集信息库，根据状态信息库提供的状态信息，执行具体操作；S36、如果在最大时限内没有满足条件的时刻，那么在最大时限到达后，根据数据管理请求执行操作；S37、等待所有服务器执行完成。本发明可以降低在线业务与数据管理之间的冲突，保证在线业务的时效性，同时保证数据管理的可靠性。

技术领域

本发明涉及一种分布式存储系统数据管理方法，属于高性能计算领域。

背景技术

在高性能计算机系统上普遍使用分布式文件系统构建集中共享的存储环境，以满足应用数据存储和访问的需求。为了平衡性能和成本的关系，通常存储系统分级组成，按照性能从高到底，存储系统可能存在由SSD组成的缓存加速系统，磁盘阵列组成的在线存储系统，sata盘阵或者磁带组成的近线存储系统，整套存储系统可能包括以上的两种或是更多种组合。在此基础上，产生了数据在不同介质组成的存储系统中的迁移需求，传统的方式是采用数据拷贝，定期拷贝和并发拷贝等方法，以上方法有以下限制：1、数据的及时拷贝和定时拷贝会对在线业务产生干扰；2、cp命令或是rsync命令是单客户端执行，效率较低；并发的拷贝如dcp使用mpi的并发拷贝，可能会对更多的在线存储服务产生性能竞争。

在高性能环境中存在异构的分布式存储系统，尤其是分为在线、近线、离线等不同级别的存储系统，数据在不同系统中的迁移和删除等管理工作，在不同的负载和不同的网络等状态下，会对在线课题的存储业务产生不同的影响，同时数据的管理操作也会受到影响。

发明内容

本发明的目的是提供一种分布式存储系统数据管理方法，以解决高性能计算机系统中存在的多种存储资源环境的数据管理难题。

为达到上述目的，本发明采用的技术方案是：提供一种分布式存储系统数据管理方法，包括及时任务模式、定时任务模式和策略模式；

当系统资源丰富，或者是数据管理任务优先级较高时，选择及时任务模式；

当系统I/O使用情况相对规律时，选择定时任务模式；

当系统使用模式复杂，需要保障现时任务时，选择策略模式；

所述及时任务模式下的数据管理方法包括以下步骤：

S11、在管理端发起数据管理请求；

S12、分布式存储系统接收到数据管理请求；

S13、将数据管理请求分发到组成存储系统的每一个服务器上；

S14、每台服务器按照数据管理请求要求，执行具体操作；

S15、等待所有服务器执行完成，将结果进行反馈；

所述定时任务模式下的数据管理方法包括以下步骤：

S21、在管理端发起数据管理请求，并设置该数据管理请求的执行时间点，或者是按照指定周期进行执行的定时任务；

S22、时间点到达，或者是定时的时间到达后，分布式存储系统接收到数据管理请求；

S23、将数据管理请求分发到组成存储系统的每一个服务器上；

S24、每台服务器按照数据管理请求要求，执行具体操作；

S25、等待所有服务器执行完成，将结果进行反馈；

所述策略模式下的数据管理方法包括以下步骤：

S31、在管理端发起数据管理请求，选择为策略反馈模式，以及最大时限；

S32、分布式存储系统接收到数据管理请求；

S33、将数据管理请求分发到组成存储系统的每一个服务器上；

S34、每台服务器接收到数据管理请求，并将数据管理请求记录到待执行队列中；