[发明专利]小文件读取方法及装置

说明书

本发明提供一种小文件读取方法及装置，应用于分布式存储系统包括的网关服务器，所述分布式存储系统还包括存储服务器和内存模块，所述内存模块用于缓存预先从所述存储服务器加载的小文件，所述方法包括：接收客户端设备发送的读请求，所述读请求包括待读取小文件的标识；根据所述待读取小文件的标识，从所述内存模块中读取所述待读取小文件；向所述客户端设备发送读响应，所述读响应包括所述待读取小文件。本发明中，存储服务器无需采用全闪存存储介质，可有效降低分布式存储系统成本，同时，提升分布式存储系统并发处理能力。

技术领域

本发明涉及存储技术领域，尤其涉及一种小文件读取方法及装置。

背景技术

在基于海量小文件的纯读应用场景(比如，视频渲染)下，对分布式存储系统的并发读取性能要求非常高。为了满足超高并发访问需求，分布式存储系统通常采用对象存储服务，且系统中的存储服务器均采用全闪存存储介质，以尽量满足用户的超高并发需求。但是，全闪存存储介质价格昂贵，且并不能极大提升分布式存储系统的并发读取性能。

发明内容

本发明为了解决现有小文件读取过程中分布式存储系统的并发读取性能不高的问题，提出一种小文件读取方法及装置，用以提升小文件读取过程中分布式存储系统的并发读取性能。

为实现上述发明目的，本发明提供了如下技术方案：

第一方面，本发明提供一种小文件读取方法，应用于分布式存储系统包括的网关服务器，所述分布式存储系统还包括存储服务器和内存模块，所述内存模块用于缓存预先从所述存储服务器加载的小文件，所述方法包括：

接收客户端设备发送的读请求，所述读请求包括待读取小文件的标识；

根据所述待读取小文件的标识，从所述内存模块中读取所述待读取小文件；

向所述客户端设备发送读响应，所述读响应包括所述待读取小文件。

可选的，所述接收客户端设备发送的读请求之前，所述方法还包括：

接收所述客户端设备发送的缓存指令，所述缓存指令包括待渲染对象的标识；

基于所述待渲染对象的标识，确定渲染所述待渲染对象需要用到的待缓存小文件；

将存储于所述存储服务器中的所述待缓存小文件加载到所述内存模块中。

可选的，所述将存储于所述存储服务器中的所述待缓存小文件加载到所述内存模块中，包括：

确定所述待缓存小文件对应的至少一个对象在所述存储服务器中的存储位置；

基于确定出的各存储位置，从存储服务器中读取所述待缓存小文件对应的至少一个对象；

将所述待缓存小文件对应的至少一个对象存储到所述内存模块中。

可选的，所述接收客户端设备发送的读请求之前，所述方法还包括：

接收多个客户端设备的连接请求，与所述多个客户端设备建立连接；

从已建立的多个连接中，确定活跃连接；

所述接收客户端设备发送的读请求，包括：

接收客户端设备通过所述活跃连接传输的读请求。

可选的，所述从已建立的多个连接中，确定活跃连接，包括：

利用epoll IO模型，从已建立的多个连接中，确定活跃连接。

第二方面，本发明提供一种小文件读取装置，应用于分布式存储系统包括的网关服务器，所述分布式存储系统还包括存储服务器和内存模块，所述内存模块用于缓存预先从所述存储服务器加载的小文件，所述装置包括：