[发明专利]一种集群存储中并行访问大量小文件的方法及系统

权利要求书

1.一种集群存储中并行访问大量小文件的系统，其特征在于，包括应用主机集群、元数据服务器集群、数据服务器集群、后端存储和高速互联设备，其中：

所述应用主机集群，用以为客户端提供文件系统接口，在检测到有小文件写入时，缓存所述小文件，将多个缓存的小文件合并为一个临时文件，将所述临时文件的元数据和数据对象经所述高速互联设备推送至集群中的各元数据服务器节点和各数据服务器节点；

所述元数据服务器集群，用以管理集群中各元数据服务器节点的后端存储；

所述数据服务器集群，用以管理集群中各数据服务器节点的后端存储；

所述后端存储，包括元数据服务器节点的后端存储和数据服务器节点的后端存储，所述元数据服务器节点的后端存储用以存储元数据的磁盘阵列，所述数据服务器节点的后端存储用以存储数据对象的磁盘阵列；

所述高速互联设备，用以实现集群中各服务器节点之间数据通信的数据包的高速交换。

2.如权利要求1所述的系统，其特征在于：

所述应用主机集群，是通过条带化处理将所述合并得到的文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点。

3.如权利要求1或2所述的系统，其特征在于：

所述应用主机集群，用以在检测到缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；在接收到所述元数据服务器集群发送的存储控制命令后，将其缓存的所述临时文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点，并清空缓存；

所述元数据服务器集群，还用以对所述应用主机集群的缓存进行统一管理，当检测到缓存中的所述临时文件的大小的总和达到一第二预设值时，向所述应用主机集群发送存储控制命令，以及将集群中各元数据服务器节点接收到的所述临时文件的元数据存储至其后端存储中；

所述数据服务器集群，用以将集群中各数据服务器节点接收到的所述临时文件的数据对象存储至其后端存储中。

4.如权利要求1所述的系统，其特征在于：

所述元数据服务器集群，用以为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；

所述数据服务器集群，用以为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。

5.如权利要求1所述的系统，其特征在于：

元数据服务器节点的后端存储与前端元数据服务器经光纤连接以进行数据传输；

数据服务器节点的后端存储与前端数据服务器经光纤连接以进行数据传输。

6.一种集群存储中并行访问大量小文件的方法，其特征在于：

对写入的小文件进行缓冲；

将缓冲的多个小文件合并为一个临时文件；

将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。

7.如权利要求6所述的方法，其特征在于：

采用条带化处理将所述临时文件的元数据和数据对象存储至元数据服务器和数据服务器的后端存储中。

8.如权利要求6或7所述的方法，其特征在于：

当缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；

当缓存的所述临时文件的大小的总和达到一第二预设值时，将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。

9.如权利要求6所述的方法，其特征在于：

为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；

为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。

10.如权利要求6所述的方法，其特征在于：

元数据的后端存储与前端元数据服务器经光纤进行数据传输；

数据的后端存储与前端数据服务器经光纤进行数据传输。