[发明专利]一种基于分布式存储技术的小文件存取系统的存取方法

摘要

本发明公开了一种基于分布式存储技术的小文件存取系统的存取方法，属于数据存储领域，包括客户端服务器、核心服务器、核心层网络交换机和若干存储节点服务器，采用合理的硬件结构和分布式存储技术，解决了小文件存取时网络通信开销大、数据布局不合理和I/O访问模式复杂和Cache管理低效的问题。

主权项

一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：该小文件存取系统包括客户端服务器、核心服务器、核心层网络交换机和若干存储节点服务器，核心服务器包括多核CPU、固态硬盘、万兆网卡或InfiniBand网卡、PCI多功能并口卡和64G内存，固态硬盘、万兆网卡或Infin iBand网卡、PCI多功能并口卡和64G内存均与多核CPU电连接，所述核心服务器通过万兆网卡或InfiniBand网卡与核心层网络交换机通信，客户端服务器通过互联网与核心层网络交换机通信，每一个存储节点服务器均通过互联网与核心层网络交换机通信；其中该方法包括：步骤1：将储存文件的大小分类为小文件和大文件，核心服务器判断所要存储的文件的大小，如是小文件则执行步骤2；步骤2：核心服务器将小文件的尾部追加BLOCK的尾部标识；步骤3：核心服务器为小文件建立索引用的元数据，将元数据存储至所述固态硬盘内；步骤4：核心服务器将小文件和所述元数据通过核心层网络交换机发送到一个存储节点服务器的Cache存储器中，当该存储节点服务器存储满后，核心服务器将小文件通过核心层网络交换机发送到另一个存储节点服务器Cache存储器中；步骤5：存储节点服务器将自己的Cache存储器中的多个小文件合并成一个大文件后进行存储；步骤6：每一个存储节点服务器都将自己存储的文件读取至自己的Cache存储器中；步骤7：客户端服务器通过核心层网络交换机向核心服务器发送读取小文件请求；步骤8：核心服务器接收所述读取小文件请求，并通过固态硬盘中的元数据查询到所要读取的小文件的元数据，并通过核心层网络交换机向客户端服务器发送元数据给客户端服务器；步骤9：客户端服务器通过所述元数据查询到所要读取的小文件存储在哪一个存储节点服务器中，并通过核心层网络交换机与该存储节点服务器进行通信，读取小文件。