[发明专利]一种容器环境中运行时数据迁移方法及系统

说明书

一种容器环境中运行时数据迁移方法及系统，涉及容器数据迁移技术领域，用以解决现有迁移方法在迁移过程中传输的数据量过大而导致迁移效率低下的问题。本发明的技术要点包括：对于每个用户设备，数据迁移过程包括：用户端访问新节点，新节点根据用户端请求发送数据迁移指令至旧节点；旧节点接收到数据迁移指令后，使所有运行任务有序退出并通知新节点；新节点获取旧节点连接信息并与其建立连接；旧节点通过NFS方式共享数据到新节点；新节点将旧节点数据挂载并复制到本地用户容器中，完成数据从旧节点到新节点的迁移；其中，新节点以Overlay只读方式挂载数据。本发明通过Overlay+NFS的方式实现迁移，不会拖累系统性能，优化了迁移中传输的数据量和带来的传输延迟。

技术领域

本发明涉及容器数据迁移技术领域，具体涉及一种容器环境中运行时数据迁移方法及系统。

背景技术

每个接入蜂窝网络的设备都会被叫做UE(User Equipment，用户设备)。每个UE都需要一个在边缘计算中对应的实体，本发明中将其称为虚拟UE。这个虚拟UE通过(如分析、数据聚合、视频压缩、物体识别)和处理/存储能力来补充用户设备上的应用。虚拟UE可以通过容器或虚拟机来实现，但是容器实现方式相比虚拟机更为轻量。

高速响应的服务依赖于终端用户和边缘服务器之间相对较短的网络距离。然而，当终端用户远离其当前的边缘服务器时，移动性能的好处将被大大削弱。当用户设备从一个边缘计算服务节点离开进入另一个边缘计算服务节点时，为了保证服务质量，用户应该尽可能的请求离自己近的节点。而当新的节点要开始服务时，之前节点上用户的数据将会帮助新节点更好地服务用户。

在传统的C/S服务架构中，用户的数据都被保存在中心化的云数据中心中。任何服务都可以在授权后方便地获取、修改需要的数据，而因为数据都集中化地保存在同一个地方，或者考虑到异地分布式的存储结构，至少可以通过一个统一的接口或者地址获取到需要的数据。同时用户的移动性也不会和应用有太大关系，当用户的网络状况发生很大的变化时，对于应用而言，变化的只有网络连接。应用代码、数据、计算环境等都还在同一个数据中心。随着网络的扩展、国际化使用需求的增多，一些大型企业开始有了在全球各地建设数据中心协作的实践，但是主要目的是因为各地的数据相关法律和降低通过跨洋光纤传输的数据量。然而，这些实践很少需要将用户的数据从一个大洲迁移到另一个大洲的数据中心，同时这种方式最终只能将延迟控制到100ms左右的级别。

从上述的分析中可以看出，迁移本身是必要的。迁移可以将用户的数据、任务计算的中间结果等通过边之间的连接迁移到另一个节点，而省去了从云上重新获取数据的麻烦。同时当部分地区暂时失去了和云上的数据连接时，也能保持边缘有一定的服务能力。Docker (应用容器引擎)本身提供了save(保存)和load(下载)指令用来保存用户数据，这个机制常常被用在迁移中。分析Docker的源码和实验可知，save和load在保存的时候会将镜像每一层都导出到文件当中。然而，这种方法只是转移了位于容器根文件系统挂载点下的所有文件，这些文件实际上是所有容器镜像层的组合。这种方法忽略了底层的存储层，最终导致迁移效率低下。效率低下的原因如下：第一，Docker的save和load过程中会保存所有的层次信息，操作本身十分耗时；第二，将所有层次信息都保存到导出的文件中，得到的数据量会非常大；第三，执行save操作时容器不能运行，执行完save操作后写入的数据也不能同步到导出的数据中心。由此，通过上述这种方法进行迁移时原则上不应该有任务正在运行，而且因为导出、导入、传输所耗费的时间都很多，从而也就导致了在迁移过程中会出现长时间的中断。

Docker的底层组件之一containerd(主要职责是镜像管理、容器执行)也提供了snapshot机制，snapshot机制可以将某一层导出，避免上述导致迁移效率低下的第一和第二个问题。但是通过containerd导出每层时要求两层之间存在依赖关系，且上层导出的tar文件会显式地指定下层的SHA256(摘要信息)，若SHA256不匹配则不能正常导入。因此在发生程序升级时，所有的Root数据会丢失，需要应用重新初始化或者提前同步到云端。

发明内容