[发明专利]低延时高吞吐量的多副本文件读写优化方法

摘要

本发明涉及一种低延时高吞吐量的多副本文件读写优化方法，其包括允许若干客户端进行访问的分布式存储集群，所述分布式存储集群包括若干用于多个文件副本的数据节点，客户端能对分布式存储集群内数据节点存储进行多副本文件的读写操作；客户端内存储记录每个数据节点的访问耗时，在读取分布式存储集群内的副本文件时，确定分布式存储集群内存储待读取副本文件的数据节点，客户端访问待读取副本文件所在数据节点中访问耗时最优的数据节点，以读取所访问数据节点内的副本文件。本发明在读写流程优化后，能对在线业务支持低延时响应，且对离线业务保证高吞吐量，灵活性高，安全可靠。

主权项

1.一种低延时高吞吐量的多副本文件读写优化方法，其特征是：包括允许若干客户端进行访问的分布式存储集群，所述分布式存储集群包括若干用于多个文件副本的数据节点，客户端能对分布式存储集群内数据节点存储进行多副本文件的读写操作；客户端内存储记录每个数据节点的访问耗时，在读取分布式存储集群内的副本文件时，确定分布式存储集群内存储待读取副本文件的数据节点，客户端访问待读取副本文件所在数据节点中访问耗时最优的数据节点，以读取所访问数据节点内的副本文件；在利用流水线方式向分布式存储集群内数据节点写入所需数量的副本文件时，客户端在发起流水线写入请求后开始计时，当写请求在流水线上的响应时间超过预设时间阈值后，客户端根据当前流水线中每个数据节点的访问耗时，删除当前流水线中访问耗时最慢的数据节点，并利用剩余的数据节点组成流水线完成副本文件的写入，缺少的副本文件在流水线写入结束后采用异步写入相应的数据节点内；在利用分发写入方式向分布式存储集群内的数据节点写入所需数量的副本文件时，在客户端内设置安全副本写入量，当向分布式存储集群内的数据节点写入的副本文件数量达到安全副本写入量时，则分布式存储集群向客户端返回写入成功，缺少的副本文件采用异步方式继续写入对应的数据节点内；客户端访问待读取副本文件所在数据节点中访问耗时最优的数据节点时，同时对所访问数据节点进行响应计时，当经过预设响应时间后未收到数据节点的响应，则客户端会即刻向其他待读取副本文件所在的数据节点发起访问请求，在收到任意一数据节点的请求响应后，客户端取消对数据节点的访问请求，并对响应请求的数据节点进行访问，以读取所访问数据节点内的副本文件。