[发明专利]一种实现glusterfs文件系统与对象存储s3数据互访方法

说明书

本发明属于对象存储技术领域，尤其是一种实现glusterfs文件系统与对象存储s3数据互访方法，针对了GlusterFS文件系统对海量小文件存储效率和访问性能都表现不佳的问题，现提出如下方案，其包括部署gluster存储软件，每个gluster存储节点以brick方式挂载；本发明中部署机头节点/glusterfs目录为文件共享总nas目录，从而实现文件系统转s3接口互访，实现gluster存储软件文件同时写入glusterfs、对象存储，glusterfs文件转入到对象存储、对象存储数据转入文件系统的数据互相访问，不同文件接口系统并存且实现文件互访，从而保障了大数据应用下多种复杂应用场景对于不同存储的需求。

技术领域

本发明涉及对象存储技术领域，尤其涉及一种实现glusterfs文件系统与对象存储s3数据互访方法。

背景技术

Gluster是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持大存储容量和满足数千客户端同时访问；

GlusterFS借助TCP/IP将来自多个服务器的磁盘存储资源聚合到一个全局命名空间中，使用全局统一命名空间来管理数据，对上层用户和应用屏蔽了底层的物理硬件；存储资源可以根据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩；能够对外提供多种访问方式，可以通过NFS，SMB，HTTP协议等访问，还可以通过gluster本身提供的客户端访问。

由于GlusterFS是可横向拓展存储解决方案的核心，它是基于弹性哈希算法和Stripe数据分布策略，移除了元数据依赖，优化了数据分布，提高数据访问并行性，能够大幅提高大文件存储的性能；对于小文件，无元数据服务设计解决了元数据的问题，但GlusterFS并没有在I/O方面作优化，在存储服务器底层文件系统上仍然是大量小文件，本地文件系统元数据访问是一个瓶颈，数据分布和并行性也无法充分发挥作用。

因此，需要一种实现glusterfs文件系统与对象存储s3数据互访方法，用以解决GlusterFS文件系统对海量小文件存储效率和访问性能都表现不佳的问题。

发明内容

本发明提出的一种实现glusterfs文件系统与对象存储s3数据互访方法，解决了GlusterFS文件系统对海量小文件存储效率和访问性能都表现不佳的问题。

为了实现上述目的，本发明采用了如下技术方案：一种实现 glusterfs文件系统与对象存储s3数据互访方法，包括以下步骤：

S1、部署gluster存储软件，每个gluster存储节点以brick方式挂载；

S2、将步骤S1中所有存储节点均通过gluster peer probe server 命令方式组成一个群集；

S3、将步骤S2上的gluster节点上创建卷，并指定卷名为 vol-name以及底层数据分布模式replica 2；

S4、通过gluster volume star命令的方式开启卷，然后通过 nas挂载方式对外提供存储访问；

S5、在glusterfs机头节点上部署monio软件。

优选的，所述步骤S1中的gluster存储软件包括多个独立的服务器，每个服务器上的磁盘文件格式化处理。

优选的，所述步骤S2中的群集包括多个独立的brick，并将群集挂载至glusterfs机头节点上。

优选的，所述步骤S5的monio软件对底层文件系统进行封装处理并实现对外提供对象存储s3接口功能。

优选的，所述步骤S5的monio软件启动方式通过导入用户key 以及secret key值，通过--address ip:port指定提供minio对象访问接口的ip地址跟端口。