[发明专利]文件的去重处理方法和装置有效
| 申请号： | 201611016883.0 | 申请日： | 2016-11-18 |
| 公开（公告）号： | CN106708927B | 公开（公告）日： | 2021-01-05 |
| 发明（设计）人： | 赵汝成;曾鸿军;王鹏雷 | 申请（专利权）人： | 北京二六三企业通信有限公司 |
| 主分类号： | G06F16/174 | 分类号： | G06F16/174 |
| 代理公司： | 北京同立钧成知识产权代理有限公司 11205 | 代理人： | 杨文娟;刘芳 |
| 地址： | 100013 北京市朝阳*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 文件 处理 方法 装置 | ||
1.一种文件的去重处理方法，其特征在于，包括：
从所述文件中获取至少两个数据块；
根据预设的哈希算法分别计算每个数据块的消息摘要，并按照预设的组合顺序根据所述至少两个数据块的消息摘要得到组合消息摘要；
根据所述组合消息摘要进行去重比对操作，具体为：
将两个文件的所述组合消息摘要进行比对，判断所述两个文件的所述组合消息摘要是否相同，若所述组合消息摘要不相同，则确定两个文件不同；若所述组合消息摘要相同，则对所述两个文件进行全文比对，以判断所述两个文件是否相同；
其中，所述从所述文件中获取至少两个数据块，具体包括：
按照预设的内存间隔，间隔从所述文件中提取第一元数据块；
根据预设的组合策略，将所述第一元数据块组合为所述至少两个数据块；或者，
按照预设的数据块大小，顺序从所述文件中提取第二元数据块；
根据预设的组合策略，将所述第二元数据块组合为所述至少两个数据块。
2.根据权利要求1所述的方法，其特征在于，所述哈希算法为Rabin算法、MD5算法、SHA-1算法、SHA-224算法、SHA-256算法、SHA-384算法和SHA算法中的任一种。
3.一种文件的去重处理装置，其特征在于，包括：获取模块，计算模块和处理模块，其中，
所述获取模块，用于从所述文件中获取至少两个数据块；
所述计算模块，用于根据预设的哈希算法分别计算每个数据块的消息摘要，并按照预设的组合顺序根据所述至少两个数据块的消息摘要得到组合消息摘要；
所述处理模块，用于根据所述组合消息摘要进行去重比对操作，具体为：
将两个文件的所述组合消息摘要进行比对，判断所述两个文件的所述组合消息摘要是否相同，若所述组合消息摘要不相同，则确定两个文件不同；若所述组合消息摘要相同，则对所述两个文件进行全文比对，以判断所述两个文件是否相同；
其中，所述获取模块，具体用于按照预设的内存间隔，间隔从所述文件中提取第一元数据块，并根据预设的组合策略，将所述第一元数据块组合为所述至少两个数据块；或者，
所述获取模块，具体用于根据预设的数据块按照预设的数据块大小，顺序从所述文件中提取第二元数据块，并根据预设的组合策略，将所述第二元数据块组合为所述至少两个数据块。
4.根据权利要求3所述的装置，其特征在于，所述哈希算法为Rabin算法、MD5算法、SHA-1算法、SHA-224算法、SHA-256算法、SHA-384算法和SHA算法中的任一种。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京二六三企业通信有限公司，未经北京二六三企业通信有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611016883.0/1.html，转载请声明来源钻瓜专利网。
- 上一篇：位姿估计装置及真空清洁器系统
- 下一篇：三种改造环状多肽及其应用和抗菌制剂
