[发明专利]采用容器分类模式进行分布式数据存储的实现方法

说明书

技术领域

本发明涉及计算机分布式存储技术领域，具体涉及一种采用容器分类模式进行分布式数据存储的实现方法。

背景技术

分布式数据存储方式是将数据分散存储在多台独立的设备上，分布式存储设备要满足高速的数据加载、高速的数据查询和高利用率的存储空间等特性。

分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。

在当前基于冗余的分布式存储系统设计中,主要设计思路可以分为两类:一类是基于复制的方法,另一类是基于秘密共享的方法。

分布式数据存储过程，如图1所示。一致性哈希数据分布算法的基本原理是用一个首尾相接的圆环，在该圆环上按顺时针方向分布整个哈希值。使用哈希函数H将各个存储节点服务器的 IP或主机名进行哈希运算，根据哈希运算的值就能确顶每个存储节点在哈希环上的位置。

Docker容器和文件夹很类似，一个Docker容器包含了所有的某个应用运行所需要的环境。每一个 Docker容器都是从 Docker 镜像创建的。Docker 容器可以运行、开始、停止、移动和删除。每一个Docker容器都是独立和安全的应用平台，Docker容器是Docker的运行部分。

发明内容

本发明要解决的技术问题是：本发明针对以上问题，提供一种采用容器分类模式进行分布式数据存储的实现方法。

本发明所采用的技术方案为：

采用容器分类模式进行分布式数据存储的实现方法，所述方法采用Docker容器构建一个虚拟的存储管理中间层，在该层中进行存储数据的存储前的处理，首先对储存数据进行数据特征的提取，生成数据存储的MD5值，将该值保存在数据存储特征表中；

然后根据数据特征进行分类，同一类的数据进行相同的处理操作；

再根据一致性哈希数据分布算法，计算出每个存储服务器的节点的满负荷容量，形成节点容量哈希表；

最后，根据特征表和哈希表对数据进行不同方式的存储。

所述特征数据的分类包括结构化数据、半结构化数据和非结构化数据三类。

所述方法对于需要进行备份保存的数据，采用复制的方法形成数据副本进行额外的存储。

所述数据存储的方式包括行存储模式、列存储模式、行列结合模式、哈希存储模式。

所述哈希存储模式采用信息分散算法进行不同类型的分散存储。

本发明的有益效果为：

本发明方法属于计算机云计算领域，通过采用容器中分类管理的模式进行分布式数据存储的实现，采用容器技术来进行云计算相关的计算，能够应用于云计算软件产品中，提高存储的规模和速度。

附图说明

图1为分布式数据存储过程示意图；

图2为采用容器中分类管理的模式进行分布式数据存储过程示意图。

具体实施方式

下面根据说明书附图，结合具体实施方式对本发明进一步说明：

实施例1

如图2所示，采用容器分类模式进行分布式数据存储的实现方法，所述方法采用Docker容器构建一个虚拟的存储管理中间层，在该层中进行存储数据的存储前的处理，首先对储存数据进行数据特征的提取，生成数据存储的MD5值，将该值保存在数据存储特征表中；

然后根据数据特征进行分类，同一类的数据进行相同的处理操作；

再根据一致性哈希数据分布算法，计算出每个存储服务器的节点的满负荷容量，形成节点容量哈希表；

最后，根据特征表和哈希表对数据进行不同方式的存储。

实施例2

在实施例1的基础上，本实施例所述特征数据的分类包括结构化数据、半结构化数据和非结构化数据三类。

实施例3

在实施例1或2的基础上，本实施例所述方法对于需要进行备份保存的数据，采用复制的方法形成数据副本进行额外的存储。

实施例4

在实施例3的基础上，本实施例所述数据存储的方式包括行存储模式、列存储模式、行列结合模式、哈希存储模式。

实施例5

在实施例4的基础上，本实施例所述哈希存储模式采用信息分散算法进行不同类型的分散存储。

实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。