[发明专利]文件存储方法、数据检索方法、相应装置及系统有效
申请号: | 202110309954.0 | 申请日: | 2021-03-23 |
公开(公告)号: | CN112699094B | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 谢家贵;郭健;李志平;张波;马旭锋;魏星;杨威;高礼坤 | 申请(专利权)人: | 中国信息通信研究院 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/13;G06F16/14 |
代理公司: | 北京新知远方知识产权代理事务所(普通合伙) 11397 | 代理人: | 马军芳;张艳 |
地址: | 100191 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件 存储 方法 数据 检索 相应 装置 系统 | ||
本申请实施例提供了一种文件存储方法、数据检索方法、相应装置及系统,其中,文件存储方法包括:将待存储文件切分成多个元数据块,并计算每一元数据块的哈希值;根据每一元数据块的哈希值与当前节点的节点地址,计算每一元数据块与当前节点之间的逻辑距离;根据所述逻辑距离确定每一元数据块对应的存储节点;将所述多个元数据块分别存储到对应的存储节点上。采用本申请中的方案,将文件切分成多个元数据块,并按照每个元数据块与当前节点间的逻辑距离确定元数据块的存储位置,通过这种特定的数据存储和寻址规则来代替种子服务器,使得检索文件时仅通过种子文件本身就可以得到目标文件,而不需要种子服务器进行路由。
技术领域
本申请涉及分布式存储技术领域,具体地,涉及一种文件存储方法、数据检索方法、相应装置及系统。
背景技术
BitTorrent(简称BT)是一种文件分发协议,BT协议的特点是某个文件下载的人越多则下载速度越快,其原因在于下载者之间形成了一个对等网络,每个下载者将已下载的数据提供给其他下载者下载,充分利用了用户的上载带宽。
基于BT协议的文件下载流程为:(1)客户端通过web服务器获得种子文件;(2)客户端解析种子文件,得到种子服务器信息;(3)客户端访问种子服务器获得文件存储列表,得到目标文件的实际存储位置;(4)种子服务器将该客户端的IP和端口号更新到文件存储列表中;(5)客户端根据文件存储列表中记录的IP和端口号向其他客户端请求下载目标文件。
以BT为代表的文件分发协议存在的缺陷在于:一方面,如果种子服务器宕机或者已经删除了相应的路由信息,则无法通过种子下载目标文件,此类协议难以保证文件的可获得性,另一方面,由于此类协议使用了中心化的网络模型,这种模型要求下载方完全信任种子服务器,而种子服务器的安全性则由服务器的运行方保证,一旦种子服务器被攻击,则种子服务器可能恶意返回错误信息,导致下载到恶意文件,此类协议无法保证文件存储、检索过程的安全性。
发明内容
本申请实施例提供一种文件存储方法、数据检索方法、相应装置及系统,以解决现有技术中以BT为代表的文件分发协议采用了中心化的网络模型而导致的文件的可获得性差、文件安全性不够高的问题。
根据本申请实施例的第一个方面,提供了一种文件存储方法,所述方法包括:将待存储文件切分成多个元数据块,并计算每一元数据块的哈希值;根据每一元数据块的哈希值与当前节点的节点地址,计算每一元数据块与当前节点之间的逻辑距离;根据所述逻辑距离确定每一元数据块对应的存储节点;将所述多个元数据块分别存储到对应的存储节点上。
根据本申请实施例的第二个方面,提供了一种数据检索方法,所述方法包括:获取目标文件的检索索引,根据所述检索索引获取对应的默克尔树,其中,所述检索索引为所述默克尔树的根节点哈希;根据所述默克尔树得到组成目标文件的多个元数据块的哈希值;根据每一元数据块的哈希值与当前节点的节点地址,计算每一元数据块与当前节点之间的逻辑距离;根据所述逻辑距离确定每一元数据块的存储节点;分别向对应的存储节点发送元数据块获取请求,以获取对应的元数据块。
根据本申请实施例的第三个方面,提供了一种文件存储装置,所述装置包括:文件切分模块,用于将待存储文件切分成多个元数据块,并计算每一元数据块的哈希值;第一距离计算模块,用于根据每一元数据块的哈希值与当前节点的节点地址,计算每一元数据块与当前节点之间的逻辑距离;第一节点确定模块,用于根据所述逻辑距离确定每一元数据块对应的存储节点;数据块存储模块,用于将所述多个元数据块分别存储到对应的存储节点上。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国信息通信研究院,未经中国信息通信研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110309954.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置