[发明专利]一种用于分布式文件系统的文件读写方法有效
申请号: | 201711113646.0 | 申请日: | 2017-11-13 |
公开(公告)号: | CN107832423B | 公开(公告)日: | 2020-05-15 |
发明(设计)人: | 肖侬;陈地长;陈志广;卢宇彤;杜云飞 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/13;G06F16/172;H04L29/08 |
代理公司: | 湖南兆弘专利事务所(普通合伙) 43008 | 代理人: | 谭武艺 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 分布式 文件系统 文件 读写 方法 | ||
1.一种用于分布式文件系统的文件读写方法,其特征在于,文件读的实施步骤包括:
A1)客户端向分布式文件系统的元数据服务器发送读取文件的请求;
A2)元数据服务器在收到客户端的请求后向客户端返回查询元数据信息、且向读取文件的文件块所在的数据服务器发送客户端请求信息及通信地址,客户端根据元数据服务器返回信息找到读取文件的文件块所在的数据服务器;
A3)数据服务器收到客户端请求信息及通信地址后,和客户端建立连接并开始向客户端发送读取文件的文件块数据;
A4)客户端以文件块为单位接收数据,先在本地缓存、然后写入目标文件,将后面的文件块和前面的文件块合并成最终所需要的文件,完成数据读取;
且文件写的实施步骤包括:
B1)客户端获取需要进行文件写的待写文件数量,如果待写文件数量超过预设阈值,则跳转执行步骤B6);否则,针对每一个待写的目标文件跳转执行下一步;
B2)客户端向分布式文件系统的数据服务器通信发送写入目标文件的请求;
B3)数据服务器在收到客户端的请求后,检查写入的目标文件不存在、目标文件的父目录存在是否成立,如果成立则创建目标文件,跳转执行下一步;否则,让客户端抛出异常并退出;
B4)客户端先将待写的目标文件切分成数据块,然后开始和数据服务器建立连接,数据服务器开始写入数据,并记录元数据信息;
B5)数据服务器将目标文件写入存储完成,并向元数据服务器发送已写入存储完成的文件的元数据信息和文件存储数据块信息,退出;
B6)客户端将直接与数据服务器交互,完成待写文件的文件对象的分配;
B7)当获得分配的文件对象后,数据服务器直接将客户端上的待写文件数据存到数据服务器,然后同时把元数据信息和数据分布信息保存到本地对象储存中;
B8)当一个客户端的所有待写文件的写入作业完成后,数据服务器向元数据服务器发送对应的元数据和数据对象分布信息;
B9)元数据服务器接收迁移的文件元数据和数据分布信息进行可靠存储。
2.根据权利要求1所述的用于分布式文件系统的文件读写方法,其特征在于,步骤B6)客户端将直接与数据服务器交互时,预先向数据服务器发送每一个待写文件的类型,每一个待写文件的类型包括文件是否为临时文件;步骤B8)当一个客户端的所有待写文件的写入作业完成后,数据服务器向元数据服务器发送类型为非临时文件的待写文件对应的元数据和数据对象分布信息。
3.一种用于分布式文件系统的文件读写方法,其特征在于,文件写的实施步骤包括:
B1)客户端获取需要进行文件写的待写文件数量,如果待写文件数量超过预设阈值,则跳转执行步骤B6);否则,针对每一个待写的目标文件跳转执行下一步;
B2)客户端向分布式文件系统的数据服务器通信发送写入目标文件的请求;
B3)数据服务器在收到客户端的请求后,检查写入的目标文件不存在、且目标文件的父目录存在是否成立,如果成立则创建目标文件,跳转执行下一步;否则,让客户端抛出异常并退出;
B4)客户端先将待写的目标文件切分成数据块,然后开始和数据服务器建立连接,数据服务器开始写入数据,并记录元数据信息;
B5)数据服务器将目标文件写入存储完成,并向元数据服务器发送已写入存储完成的文件的元数据信息和文件存储数据块信息,退出;
B6)客户端将直接与数据服务器交互,完成待写文件的文件对象的分配;
B7)当获得分配的文件对象后,数据服务器直接将客户端上的待写文件数据存到数据服务器,然后同时把元数据信息和数据分布信息保存到本地对象储存中;
B8)当一个客户端的所有待写文件的写入作业完成后,数据服务器向元数据服务器发送对应的元数据和数据对象分布信息;
B9)元数据服务器接收迁移的文件元数据和数据分布信息进行可靠存储。
4.根据权利要求3所述的用于分布式文件系统的文件读写方法,其特征在于,步骤B6)客户端将直接与数据服务器交互时,预先向数据服务器发送每一个待写文件的类型,每一个待写文件的类型包括文件是否为临时文件;步骤B8)当一个客户端的所有待写文件的写入作业完成后,数据服务器向元数据服务器发送类型为非临时文件的待写文件对应的元数据和数据对象分布信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711113646.0/1.html,转载请声明来源钻瓜专利网。