[发明专利]一种基于分布式存储的卷数据在线迁移方法

说明书

本发明提供一种基于分布式存储的卷数据在线迁移方法，包括如下步骤：迁移准备阶段：接收迁移指令，根据迁移指令获取和创建迁移任务及目标卷，并在线建立源卷与目标卷间的在线迁移关系，并悬挂IO，将已接收业务请求全部调度执行后，在线修改IO调度策略，再解除悬挂IO，使得业务能够被正确路由至源卷或目标卷上执行，保证业务的持续在线；迁移数据阶段：将源卷所有数据对象按序迁移至目标卷，按序更新迁移进度，以支持断点续传；迁移完成阶段：删除源卷和迁移任务；本发明在迁移数据期间将业务写请求仅路由至目标卷写入，有效避免业务数据同步写源卷和目标卷而导致的写放大和存储系统资源的浪费。

技术领域

本发明涉及数据在线迁移领域，尤其是涉及一种基于分布式存储的卷数据在线迁移方法。

背景技术

企业的业务数据并不是都具有相同的使用价值。企业的部分业务数据会被频繁热点访问，而部分其他业务数据则很少被访问，甚至一些业务数据跨年度级别的时间跨度里都未被访问过。而站在企业的角度来看，这些大量具有低使用价值的业务数据占用着高性能的宝贵存储系统资源是在无形中增加着企业成本负担。

另外，考虑成本因素，企业一般会在前期采用非高性能的存储系统资源来存储小众业务的数据。但是随着企业不断深耕发展，小众业务也可能发展壮大成市场上的热门业务，则其涉及的业务数据的访问频率也会随之变得非常频繁，那么此时企业则会面临非高性能存储系统资源可能无法承载当前高频业务访问压力的问题。

解决企业的这些业务痛点问题的方法之一就是数据在线迁移。数据在线迁移可以在保证主机端业务不中断的情况下实现不同性能水平存储设备之间的数据迁移。

Ceph社区虽然也支持卷迁移功能，但是在进行数据迁移前，必须先断开源卷上的用户业务。在完成卷迁移准备操作后，重新将用户业务对接到目标卷才能恢复用户业务。继而才可确保数据迁移过程中用户业务的连续性。因此，Ceph社区的卷迁移不是真正意义上的在线热迁移。

Copy-Up技术：如图1所示，即Ceph克隆卷数据对象的首次读写IO流程，这里将之称为Copy-Up技术。因为克隆卷是与其父卷共享数据的，其自身是没有任何数据对象的。因此，首次写克隆卷某个数据对象时，必须先从其父卷对应的数据对象中读取到共享数据，再将向克隆卷数据对象写共享数据和写业务数据作为一个事务，原子性地把数据按序写入克隆卷数据对象。

现有卷在线迁移方案中，虽然可保证在主机端业务不中断的情况下实现不同性能水平存储设备之间的数据迁移，但是在迁移源卷数据到目标卷期间，前台写业务必须将数据同步写入源卷和目标卷，存在着明显的写放大缺点。并且用户的业务数据同步写入源卷和目标卷，使得用户业务数据在存储系统内过于冗余而造成对宝贵存储系统资源的浪费，这也无形中增加了用户的生产成本。同时，用户业务数据在同步写入源卷和目标卷整个IO流程生命周期内，也会额外占用部分网络带宽、内存带宽、CPU（中央处理器）资源和磁盘带宽等资源，在一定程度上可能出现挤占用户前台业务所需资源，造成用户前台业务性能抖动。

发明内容

本发明的目的在于解决卷数据在线迁移中存储系统资源浪费及资源占用的问题，提供一种基于分布式存储的卷数据在线迁移方法。

为实现上述目的，本发明采用以下技术方案：

一种基于分布式存储的卷数据在线迁移方法，包括如下步骤：

S1、迁移准备阶段：接收迁移指令，根据迁移指令获取和创建迁移任务及目标卷，并在线建立源卷与目标卷间的在线迁移关系，并悬挂IO，将已接收业务请求全部调度执行后，在线修改IO调度策略，再解除悬挂IO，使得业务能够被路由至源卷或目标卷上执行，保证业务的持续在线；

S2、迁移数据阶段：将源卷所有数据对象按序迁移至目标卷，并按序更新迁移进度，以便支持断点续传；

S3、迁移完成阶段：删除源卷和迁移任务；