[发明专利]docker容器数据卷扩展到HDFS的存储实现方法

说明书

本发明涉及一种docker容器数据卷扩展到HDFS的存储实现方法，包括：将符合容器设定使用规则的docker数据卷扩展插件安装到各个物理机；对每个物理机进行SeaboxdataFtpSever挂载；当容器物理机内进行数据操作时，通过挂载点将数据操作自动传入SeaboxdataFtpSever；SeaboxdataFtpSever调用HDFS的API，将数据写入到HDFS中。本发明实现docker容器跨主机访问共享数据，能够提供docker容器可靠性存储。

技术领域

本发明是关于一种docker容器数据卷扩展到HDFS的存储实现方法，涉及容器化技术领域。

背景技术

Docker容器存储问题一直是容器技术的一个瓶颈，尤其是基于docker容器的分布式计算。虽然docker容器可以通过创建本地数据卷，将宿主机的文件目录挂载到容器中进行数据存储，以防止数据丢失。但是使用docker作为分布式计算引擎时，同一个计算任务被划分为不同小任务。一个小的任务对应一个docker容器，容器在不同的宿主机上运行，跨主机的数据访问共享，就成为了一个最大的问题，而且挂载宿主机本地数据目录，数据存储量也是一个瓶颈。

现有docker数据卷的不足之处在于：Docker容器实例在物理机中运行时，容器中的服务需要进行数据持久化时，就需要挂载宿主机的磁盘路径映射，作为docker容器的数据卷，用来持久化容器需要存储的数据。但是在实际的应用场景中，大部分的docker应用实例都是分布式服务。分布式式服务的特点是docker容器需要跨物理机部署，所有的分布式docker容器数据需要能够实现共享，比如服务F1是分布式服务，服务F1的docker容器，分别运行在物理机A1、A2、A3中。如图1所示，物理机A1中的docker容器1的数据保存在路径/path1/下，在默认情况下，物理机A2、A3中的docker容器就无法访问在物理机A1中的/path2/路径下的数据。当长期高频对物理机A1、A2、A3读写，物理机磁盘也容易老化、损害，一旦盘损坏，数据恢复的往往很难恢复。

因此，docker容器挂载本地数据存在一下几个问题：1)数据跨物理无法共享访问；2)数据无法保证可靠性；3)本地磁盘存储，对于分布式应用，数据存储量是一个很大的瓶颈。

发明内容

针对上述问题，本发明的目的是提供一种能够实现docker容器跨主机访问共享数据的docker容器数据卷扩展到HDFS的存储实现方法。

为实现上述目的，本发明采取以下技术方案：

第一方面，本发明提供的docker容器数据卷扩展到HDFS的存储实现方法，包括：

将符合容器设定使用规则的docker数据卷扩展插件安装到各个物理机；

对每个物理机进行SeaboxdataFtpSever挂载；

当容器物理机内进行数据操作时，通过挂载点将数据操作自动传入SeaboxdataFtpSever；

SeaboxdataFtpSever调用HDFS的API，将数据写入到HDFS中。

进一步地，挂载的方式采用命令行加参数形式进行。

第二方面，本发明还提供一种docker容器数据卷扩展到HDFS的存储实现系统，该系统包括：

插件安装单元，被配置为将符合容器设定使用规则的Seaboxdata Volume plugin安装到各个物理机；

挂载单元，被配置为对每个物理机进行SeaboxdataFtpSever挂载；

容器操作单元，被配置为当容器物理机内进行数据操作时，通过挂载点将数据操作自动传入SeaboxdataFtpSever；