[发明专利]分布式文件系统进行数据处理的方法及该分布式文件系统有效
申请号: | 201210284734.8 | 申请日: | 2012-08-10 |
公开(公告)号: | CN103577500B | 公开(公告)日: | 2018-07-27 |
发明(设计)人: | 李锐;伍海君;朱会灿;邓大付;邹永强;董乘宇;阙太富;王磊;杨绍鹏;张书鑫;赵大勇;刘畅;陈晓东;张银锋 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京德琦知识产权代理有限公司 11018 | 代理人: | 周华霞;王丽琴 |
地址: | 518044 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 进行 数据处理 方法 | ||
1.一种分布式文件系统,其特征在于,该系统包括节点服务器和多个元信息服务器;
所述元信息服务器,用于在宕机重启后,向各节点服务器发送包含元信息服务器ID的数据块信息获取请求,接收来自节点服务器的文件ID、节点地址和数据块属性信息,在内存中存储文件ID与节点地址之间的第二映射关系,并在内存中对应节点地址存储数据块属性信息;
所述节点服务器,用于接收来自元信息服务器的数据块信息获取请求,由元信息服务器ID确定是否存储有对应的文件数据,如果有,则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器。
2.如权利要求1所述的系统,其特征在于,该系统还包括主节点,用于在本地硬盘上存储文件路径与文件ID之间的第一映射关系,并对应元信息服务器ID存储文件ID列表,还对应文件ID存储文件属性信息;主节点还用于接收来自元信息服务器的包含元信息服务器ID的查询请求,确定与元信息服务器ID对应的文件ID列表,以及与文件ID列表包含的文件ID相对应的文件属性信息,将确定的文件ID列表和文件属性信息反馈给元信息服务器;
所述元信息服务器,还用于在宕机重启后,向主节点发送查询请求,接收主节点反馈的文件ID列表和文件属性信息。
3.如权利要求2所述的系统,其特征在于,所述元信息服务器包括文件信息获取单元和数据块信息获取单元和存储单元;
所述文件信息获取单元,用于在宕机重启后,向主节点发送查询请求,接收主节点反馈的文件ID列表和文件属性信息,发送给存储单元;
所述数据块信息获取单元,用于在宕机重启后,向各节点服务器发送包含元信息服务器ID的数据块信息获取请求,接收来自节点服务器的文件ID、节点地址和数据块属性信息,发送给存储单元;
所述存储单元,用于在内存中存储文件ID列表和文件属性信息,以及文件ID与节点地址之间的第二映射关系,并在内存中对应节点地址存储数据块属性信息。
4.如权利要求3所述的系统,其特征在于,该系统还包括客户端,所述客户端包括上传单元,用于向主节点发送包含文件路径的数据上传请求,并接收主节点反馈的文件ID以及元信息服务器ID,为文件ID选取节点地址,向节点地址对应的节点服务器上传数据;并将文件ID与节点地址之间的第二映射关系以及数据块属性信息发送给节点服务器和元信息服务器ID对应的元信息服务器的存储单元;
所述主节点,还用于接收数据上传请求,为数据上传请求包含的文件路径确定对应的文件ID,并确定与文件ID对应的元信息服务器ID,将确定的文件ID和元信息服务器ID反馈给客户端;
所述节点服务器,还用于在本地硬盘上存储接收的第二映射关系和数据块属性信息;
所述存储单元,还用于在内存中存储接收的第二映射关系和数据块属性信息。
5.如权利要求3所述的系统,其特征在于,该系统还包括客户端,所述客户端还包括下载单元,用于向主节点发送包含文件路径的下载请求,并接收主节点反馈的文件ID和元信息服务器ID,向元信息服务器ID对应的元信息服务器发送包含文件ID的下载操作指示;并接收元信息服务器反馈的节点地址、文件属性信息和数据块属性信息,从与节点地址对应的节点服务器,获取与文件ID对应的数据;
所述主节点,还用于接收下载请求,由下载请求包含的文件路径在第一映射关系中查询出对应的文件ID,并查询出与文件ID对应的元信息服务器ID,将文件ID和元信息服务器ID反馈给客户端;
所述元信息服务器还包括下载操作执行单元,用于由下载操作指示包含的文件ID,在存储单元的第二映射关系中查询出对应的节点地址,并查询出与文件ID对应的文件属性信息,以及与节点地址对应的数据块属性信息,将查询出的节点地址、文件属性信息和数据块属性信息反馈给客户端。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210284734.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:中继用连接器
- 下一篇:一种移动终端及其语音信号处理方法