[发明专利]低延时高吞吐量的多副本文件读写优化方法

说明书

本发明涉及一种低延时高吞吐量的多副本文件读写优化方法，其包括允许若干客户端进行访问的分布式存储集群，所述分布式存储集群包括若干用于多个文件副本的数据节点，客户端能对分布式存储集群内数据节点存储进行多副本文件的读写操作；客户端内存储记录每个数据节点的访问耗时，在读取分布式存储集群内的副本文件时，确定分布式存储集群内存储待读取副本文件的数据节点，客户端访问待读取副本文件所在数据节点中访问耗时最优的数据节点，以读取所访问数据节点内的副本文件。本发明在读写流程优化后，能对在线业务支持低延时响应，且对离线业务保证高吞吐量，灵活性高，安全可靠。

技术领域

本发明涉及一种文件读写方法，尤其是一种低延时高吞吐量的多副本文件读写优化方法，属于分布式文件读写的技术领域。

背景技术

随着分布式存储系统的发展，越来越多的企业在面对涉及到大量数据的业务时，都毫不犹豫的选择分布式存储系统作为底层的数据支撑。

但是随着软硬件环境的发展，例如万兆网络、异构硬件、业务混合部署等特点；传统的分布式文件读写模式已经无法有效地支撑高吞吐要求的离线业务和低延时要求的在线业务。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种低延时高吞吐量的多副本文件读写优化方法，其在读写流程优化后，能对在线业务支持低延时响应，且对离线业务保证高吞吐量，灵活性高，安全可靠。

按照本发明提供的技术方案，所述低延时高吞吐量的多副本文件读写优化方法，包括允许若干客户端进行访问的分布式存储集群，所述分布式存储集群包括若干用于多个文件副本的数据节点，客户端能对分布式存储集群内数据节点存储进行多副本文件的读写操作；

客户端内存储记录每个数据节点的访问耗时，在读取分布式存储集群内的副本文件时，确定分布式存储集群内存储待读取副本文件的数据节点，客户端访问待读取副本文件所在数据节点中访问耗时最优的数据节点，以读取所访问数据节点内的副本文件。

在利用流水线方式向分布式存储集群内数据节点写入所需数量的副本文件时，客户端在发起流水线写入请求后开始计时，当写请求在流水线上的响应时间超过预设时间阈值后，客户端根据当前流水线中每个数据节点的访问耗时，删除当前流水线中访问耗时最慢的数据节点，并利用剩余的数据节点组成流水线完成副本文件的写入，缺少的副本文件在流水线写入结束后采用异步写入相应的数据节点内。

在利用分发写入方式向分布式存储集群内的数据节点写入所需数量的副本文件时，在客户端内设置安全副本写入量，当向分布式存储集群内的数据节点写入的副本文件数量达到安全副本写入量时，则分布式存储集群向客户端返回写入成功，缺少的副本文件采用异步方式继续写入对应的数据节点内。

客户端访问待读取副本文件所在数据节点中访问耗时最优的数据节点时，同时对所访问数据节点进行响应计时，当经过预设响应时间后未收到数据节点的响应，则客户端会即刻向其他待读取副本文件所在的数据节点发起访问请求，在收到任意一数据节点的请求响应后，客户端取消对数据节点的访问请求，并对响应请求的数据节点进行访问，以读取所访问数据节点内的副本文件。

所述分布式存储集群还包括控制节点、命名空间节点以及元数据节点；元数据节点负责维护数据节点内文件的元数据信息，命名空间节点负责维护文件系统的目录树；控制节点能收集数据节点定时发送的保活心跳信息，并在统计数据节点的相关信息后，控制节点将统计的相关信息推送给元数据信息。

所述控制节点、命名空间节点以及元数据节点均具有对应的热备节点，若命名空间节点或元数据节点与对应的热备节点进行主从切换时，能通过控制节点找到命名空间节点对应的热备节点的地址以及元数据节点对应的热备节点的地址。