[发明专利]分布式存储和检索方法、装置及计算机设备在审
申请号: | 202110457461.1 | 申请日: | 2021-04-27 |
公开(公告)号: | CN113094374A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 戴磊;冯月;王俊 | 申请(专利权)人: | 广州炒米信息科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/27 |
代理公司: | 广东勰思律师事务所 44609 | 代理人: | 赵赛 |
地址: | 510000 广东省广州市黄埔*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 存储 检索 方法 装置 计算机 设备 | ||
1.一种分布式存储和检索方法,其特征在于,包括:
获取待存储文件,在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中;其中,所述待存储文件包括多个数据块;
当检测到有多个存储空间时,将所述多个存储空间进行连续空间位置标记;
在所述待存储文件的各个数据块的头部配置索引信息及属性信息,并将所述索引信息、属性信息及对应的数据块保存在同一存储空间中;
响应于用户发起的文件查询请求,从所述文件查询请求中提取出请求信息,根据所述请求信息、索引信息及属性信息在所述分布式存储系统中查询相应的目标文件,将所述目标文件发送给所述用户。
2.根据权利要求1所述的方法,其特征在于,所述将所述待存储文件保存在所述存储空间中的步骤之后,还包括:
获取所述待存储文件的分配记录与回收记录;
将所述分配记录与回收记录保存在所述分布式存储系统的缓存及动态空间数据块中;其中,所述缓存用于分配与回收存储空间,所述动态空间数据块用于在所述待存储文件分配或回收异常后,将所述待存储文件恢复至所述缓存中继续使用。
3.根据权利要求2所述的方法,其特征在于,所述将所述待存储文件保存在所述存储空间中的步骤之后,还包括:
当检测到所述存储空间当前使用的内存空间大于预定阈值时,将所述缓存的内存空间按照预设比例进行释放;
将大于预定阈值的所述待存储文件的数据块加载到释放后的所述缓存中。
4.根据权利要求1所述的方法,其特征在于,所述在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中的步骤,包括:
获取分布式存储系统的所有存储空间的使用次数,筛选出使用次数低于预设次数的存储空间,得到目标存储空间;
为所述待存储文件分配目标存储空间,并将所述待存储文件保存在所述目标存储空间中。
5.根据权利要求1所述的方法,其特征在于,所述在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中的步骤,包括:
获取所述分布式存储系统的所有存储空间,从所有存储空间中筛选出可使用的多个存储空间,得到多个目标存储空间;
根据所述待存储文件的数据块的大小分配相应的目标存储空间,并将所述待存储文件的数据块保存在相应的所述目标存储空间中。
6.根据权利要求1所述的方法,其特征在于,还包括:
对所述分布式存储系统的所有存储空间进行定期检查,并标记无法写入和读取的存储空间;
禁止为所述待存储文件分配无法写入和读取的存储空间。
7.根据权利要求1所述的方法,其特征在于,所述根据所述请求信息、索引信息及属性信息在所述分布式存储系统中查询相应的目标文件的步骤,包括:
从所述请求信息中提取哈希值;
根据所述哈希值从所述索引信息及属性信息中查询与所述哈希值相匹配的目标哈希值;
从所述分布式存储系统中获取所述目标哈希值相应的目标文件。
8.一种分布式存储和检索装置,其特征在于,包括:
获取模块,用于获取待存储文件,在预先构建的分布式存储系统中为所述待存储文件分配存储空间,将所述待存储文件保存在所述存储空间中;其中,所述待存储文件包括多个数据块;
标记模块,用于当检测到有多个存储空间时,将所述多个存储空间进行连续空间位置标记;
配置模块,用于在所述待存储文件的各个数据块的头部配置索引信息及属性信息,并将所述索引信息、属性信息及对应的数据块保存在同一存储空间中;
查询模块,用于响应于用户发起的文件查询请求,从所述文件查询请求中提取出请求信息,根据所述请求信息、索引信息及属性信息在所述分布式存储系统中查询相应的目标文件,将所述目标文件发送给所述用户。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州炒米信息科技有限公司,未经广州炒米信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110457461.1/1.html,转载请声明来源钻瓜专利网。