[发明专利]一种集群存储中并行访问大量小文件的方法及系统

说明书

技术领域

本发明涉及一种集群存储中并行访问大量小文件的方法及系统，通常用于大规模海量数据的存储以及读写应用中。

背景技术

随着金融、石油、电信、生产等网络应用和电子商务的不断发展，各个站点的访问量越来越大，数据规模也随之不断的扩大，对文件访问，特别是网络应用中的大量小文件的并行访问性能问题就越来越突出，例如处理用户的订单太慢，图片显示滞后等一系列问题，会严重影响到用户的正常使用。

通常的企业数据应用建立在盘阵上，因此如何为组织和访问这些数据提供一种方法，使其应用在整个应用系统中，能够提高数据读写的性能，是目前业务量急剧增加面临的挑战。

发明内容

本发明要解决的技术问题是，提供一种集群存储中并行访问大量小文件的方法及系统，可以有效提高集群文件系统服务的响应时间和速度，提升数据整体的单位时间数据读写次数(Operations Per Second，简称OPS)、吞吐量。

为了解决上述技术问题，本发明提出一种集群存储中并行访问大量小文件的系统，包括应用主机集群、元数据服务器集群、数据服务器集群、后端存储和高速互联设备，其中：

所述应用主机集群，用以为客户端提供文件系统接口，在检测到有小文件写入时，缓存所述小文件，将多个缓存的小文件合并为一个临时文件，将所述临时文件的元数据和数据对象经所述高速互联设备推送至集群中的各元数据服务器节点和各数据服务器节点；

所述元数据服务器集群，用以管理集群中各元数据服务器节点的后端存储；

所述数据服务器集群，用以管理集群中各数据服务器节点的后端存储；

所述后端存储，包括元数据服务器节点的后端存储和数据服务器节点的后端存储，所述元数据服务器节点的后端存储用以存储元数据的磁盘阵列，所述数据服务器节点的后端存储用以存储数据对象的磁盘阵列；

所述高速互联设备，用以实现集群中各服务器节点之间数据通信的数据包的高速交换。

进一步地，上述系统还可具有以下特点：

所述应用主机集群，是通过条带化处理将所述合并得到的文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点。

进一步地，上述系统还可具有以下特点：

所述应用主机集群，用以在检测到缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；在接收到所述元数据服务器集群发送的存储控制命令后，将其缓存的所述临时文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点，并清空缓存；

所述元数据服务器集群，还用以对所述应用主机集群的缓存进行统一管理，当检测到缓存中的所述临时文件的大小的总和达到一第二预设值时，向所述应用主机集群发送存储控制命令，以及将集群中各元数据服务器节点接收到的所述临时文件的元数据存储至其后端存储中；

所述数据服务器集群，用以将集群中各数据服务器节点接收到的所述临时文件的数据对象存储至其后端存储中。

进一步地，上述系统还可具有以下特点：

所述元数据服务器集群，用以为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；

所述数据服务器集群，用以为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。

进一步地，上述系统还可具有以下特点：

元数据服务器节点的后端存储与前端元数据服务器经光纤连接以进行数据传输；

数据服务器节点的后端存储与前端数据服务器经光纤连接以进行数据传输。

为了解决上述技术问题，本发明还提出一种集群存储中并行访问大量小文件的方法，包括：

对写入的小文件进行缓冲；

将缓冲的多个小文件合并为一个临时文件；

将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。

进一步地，上述方法还可具有以下特点：

采用条带化处理将所述临时文件的元数据和数据对象存储至元数据服务器和数据服务器的后端存储中。

进一步地，上述方法还可具有以下特点：

当缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；