[发明专利]一种集群存储中并行访问大量小文件的方法及系统

摘要

本发明提供了一种集群存储中并行访问大量小文件的方法及系统，该方法包括：对写入的小文件进行缓冲；将缓冲的多个小文件合并为一个临时文件；将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。该方法可以有效地提高集群文件系统服务的响应时间和速度，提升数据整体的单位时间数据读写次数、吞吐量。

主权项

一种集群存储中并行访问大量小文件的系统，其特征在于，包括应用主机集群、元数据服务器集群、数据服务器集群、后端存储和高速互联设备，其中：所述应用主机集群，用以为客户端提供文件系统接口，在检测到有小文件写入时，缓存所述小文件，将多个缓存的小文件合并为一个临时文件，将所述临时文件的元数据和数据对象经所述高速互联设备推送至集群中的各元数据服务器节点和各数据服务器节点；所述元数据服务器集群，用以管理集群中各元数据服务器节点的后端存储；所述数据服务器集群，用以管理集群中各数据服务器节点的后端存储；所述后端存储，包括元数据服务器节点的后端存储和数据服务器节点的后端存储，所述元数据服务器节点的后端存储用以存储元数据的磁盘阵列，所述数据服务器节点的后端存储用以存储数据对象的磁盘阵列；所述高速互联设备，用以实现集群中各服务器节点之间数据通信的数据包的高速交换。