[发明专利]分布式存储和检索方法、装置及计算机设备在审

专利信息
申请号: 202110457461.1 申请日: 2021-04-27
公开(公告)号: CN113094374A 公开(公告)日: 2021-07-09
发明(设计)人: 戴磊;冯月;王俊 申请(专利权)人: 广州炒米信息科技有限公司
主分类号: G06F16/22 分类号: G06F16/22;G06F16/27
代理公司: 广东勰思律师事务所 44609 代理人: 赵赛
地址: 510000 广东省广州市黄埔*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 分布式 存储 检索 方法 装置 计算机 设备
【权利要求书】:

1.一种分布式存储和检索方法,其特征在于,包括:

获取待存储文件,在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中;其中,所述待存储文件包括多个数据块;

当检测到有多个存储空间时,将所述多个存储空间进行连续空间位置标记;

在所述待存储文件的各个数据块的头部配置索引信息及属性信息,并将所述索引信息、属性信息及对应的数据块保存在同一存储空间中;

响应于用户发起的文件查询请求,从所述文件查询请求中提取出请求信息,根据所述请求信息、索引信息及属性信息在所述分布式存储系统中查询相应的目标文件,将所述目标文件发送给所述用户。

2.根据权利要求1所述的方法,其特征在于,所述将所述待存储文件保存在所述存储空间中的步骤之后,还包括:

获取所述待存储文件的分配记录与回收记录;

将所述分配记录与回收记录保存在所述分布式存储系统的缓存及动态空间数据块中;其中,所述缓存用于分配与回收存储空间,所述动态空间数据块用于在所述待存储文件分配或回收异常后,将所述待存储文件恢复至所述缓存中继续使用。

3.根据权利要求2所述的方法,其特征在于,所述将所述待存储文件保存在所述存储空间中的步骤之后,还包括:

当检测到所述存储空间当前使用的内存空间大于预定阈值时,将所述缓存的内存空间按照预设比例进行释放;

将大于预定阈值的所述待存储文件的数据块加载到释放后的所述缓存中。

4.根据权利要求1所述的方法,其特征在于,所述在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中的步骤,包括:

获取分布式存储系统的所有存储空间的使用次数,筛选出使用次数低于预设次数的存储空间,得到目标存储空间;

为所述待存储文件分配目标存储空间,并将所述待存储文件保存在所述目标存储空间中。

5.根据权利要求1所述的方法,其特征在于,所述在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中的步骤,包括:

获取所述分布式存储系统的所有存储空间,从所有存储空间中筛选出可使用的多个存储空间,得到多个目标存储空间;

根据所述待存储文件的数据块的大小分配相应的目标存储空间,并将所述待存储文件的数据块保存在相应的所述目标存储空间中。

6.根据权利要求1所述的方法,其特征在于,还包括:

对所述分布式存储系统的所有存储空间进行定期检查,并标记无法写入和读取的存储空间;

禁止为所述待存储文件分配无法写入和读取的存储空间。

7.根据权利要求1所述的方法,其特征在于,所述根据所述请求信息、索引信息及属性信息在所述分布式存储系统中查询相应的目标文件的步骤,包括:

从所述请求信息中提取哈希值;

根据所述哈希值从所述索引信息及属性信息中查询与所述哈希值相匹配的目标哈希值;

从所述分布式存储系统中获取所述目标哈希值相应的目标文件。

8.一种分布式存储和检索装置,其特征在于,包括:

获取模块,用于获取待存储文件,在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中;其中,所述待存储文件包括多个数据块;

标记模块,用于当检测到有多个存储空间时,将所述多个存储空间进行连续空间位置标记;

配置模块,用于在所述待存储文件的各个数据块的头部配置索引信息及属性信息,并将所述索引信息、属性信息及对应的数据块保存在同一存储空间中;

查询模块,用于响应于用户发起的文件查询请求,从所述文件查询请求中提取出请求信息,根据所述请求信息、索引信息及属性信息在所述分布式存储系统中查询相应的目标文件,将所述目标文件发送给所述用户。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州炒米信息科技有限公司,未经广州炒米信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110457461.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top