[发明专利]一种文件处理方法、装置及系统在审
| 申请号: | 201811092920.5 | 申请日: | 2018-09-18 |
| 公开(公告)号: | CN109324998A | 公开(公告)日: | 2019-02-12 |
| 发明(设计)人: | 陈莹昊;张大帅;李昂 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
| 主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/174;G06F21/62 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王宝筠 |
| 地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文件信息库 数据指纹 数据块 数据存储方式 存储系统 文件处理 存储 存储空间利用率 装置及系统 存储压力 存储资源 数据存储 文件分割 相似文件 重复存储 重复文件 大数据 低纬度 减小 申请 关联 占用 节约 缓解 记录 | ||
1.一种文件处理方法,其特征在于,所述方法包括:
获取待存储的文件;
对所述文件进行数据分割得到有序的多个数据块;
针对所述多个数据块中的每个数据块,利用哈希算法进行加密得到所述数据块对应的数据指纹;
将所述数据块对应的数据指纹与数据指纹库中的数据指纹进行匹配,所述数据指纹库用于记录存储系统已存储的数据块对应的存储地址以及数据块对应的数据指纹的关联关系;
若匹配成功,则将所述数据块对应的数据指纹、所述数据块对应的块顺序以及所述文件的唯一标识三者之间的关联关系记录在文件信息库中,所述块顺序用于表征所述数据块在所述文件中的位置顺序。
2.根据权利要求1所述方法,其特征在于,所述方法还包括:
若匹配失败,则将所述数据块存储于所述存储系统中,将所述数据块在所述存储系统中的存储地址以及所述数据块对应的数据指纹记录在所述数据指纹库中,并将所述数据块对应的数据指纹、所述数据块对应的块顺序以及所述文件的唯一标识三者之间的关联关系记录在文件信息库记录在所述文件信息库中。
3.根据权利要求1所述方法,其特征在于,所述利用哈希算法进行加密得到所述数据块对应的数据指纹,包括:
利用一种哈希算法对所述数据块进行加密得到一个哈希值,将所述一个哈希值作为所述数据块对应的数据指纹。
4.根据权利要求1所述方法,其特征在于,所述利用哈希算法进行加密得到所述数据块对应的数据指纹,包括:
利用多种哈希算法分别对所述数据块进行加密得到多个哈希值,将所述多个哈希值组合生成一个数值,将所述数值作为所述数据块对应的数据指纹。
5.根据权利要求1所述方法,其特征在于,所述方法还包括:
接收文件下载请求,所述文件下载请求中包括待下载文件的唯一标识;
根据所述待下载文件的唯一标识,从所述文件信息库中获取与所述待下载文件相关联的数据块的数据指纹以及数据块的块顺序;
根据与所述待下载文件相关联的数据块的数据指纹,从所述数据指纹库中获取关联的多个存储地址,根据所述多个存储地址从所述存储系统中获取与所述待下载文件相关联的多个数据块;
根据与所述待下载文件相关联的数据块的块顺序,将与所述待下载文件相关联的多个数据块按顺序组合生成原始文件;
返回所述原始文件。
6.一种文件处理装置,其特征在于,所述装置包括:
获取模块,用于获取待存储的文件;
分块模块,用于对所述文件进行数据分割得到有序的多个数据块;
数据指纹生成模块,用于针对所述多个数据块中的每个数据块,利用哈希算法进行加密得到所述数据块对应的数据指纹;
匹配模块,用于将所述数据块对应的数据指纹与数据指纹库中的数据指纹进行匹配,所述数据指纹库用于记录存储系统已存储的数据块对应的存储地址以及数据块对应的数据指纹的关联关系;若匹配成功,则触发第一记录模块;
第一记录模块,用于在所述匹配模块匹配成功时,将所述数据块对应的数据指纹、所述数据块对应的块顺序以及所述文件的唯一标识三者之间的关联关系记录在文件信息库中,所述块顺序用于表征所述数据块在所述文件中的位置顺序。
7.根据权利要求6所述装置,其特征在于,所述装置还包括:
第二记录模块,用于将所述数据块存储于所述存储系统中,将所述数据块在所述存储系统中的存储地址以及所述数据块对应的数据指纹记录在所述数据指纹库中,并将所述数据块对应的数据指纹、所述数据块对应的块顺序以及所述文件的唯一标识三者之间的关联关系记录在文件信息库记录在所述文件信息库中。
8.根据权利要求6所述装置,其特征在于,所述数据指纹生成模块具体用于利用多种哈希算法分别对所述数据块进行加密得到多个哈希值,将所述多个哈希值组合生成一个数值,将所述数值作为所述数据块对应的数据指纹。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811092920.5/1.html,转载请声明来源钻瓜专利网。





