[发明专利]一种大数据处理系统的去重方法有效
| 申请号： | 201811175309.9 | 申请日： | 2018-09-30 |
| 公开（公告）号： | CN110968575B | 公开（公告）日： | 2023-06-06 |
| 发明（设计）人： | 王丹华;黄陈蓉;霍瑛 | 申请（专利权）人： | 南京工程学院 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 211167 江苏省*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种大数据处理系统的去重方法，包括：选择待处理的数据单元，获取分割向量；判断该数据单元的末尾是否等于该分割向量，若不等于，则在末尾之后增加一个分割向量；使用分割向量分割所述数据单元，得到多个数据块；合并数据块，使得各数据块的长度不小于最小块长度；计算每个数据块的哈希值，判断是新数据块，还是重复数据块以进行去重。该方法在大数据处理系统中，能够较快地查找到重复数据；对于大文件的处理，可以降低去重比较的粒度，提高去重的可能性。 | ||
| 搜索关键词： | 一种 数据处理系统 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京工程学院，未经南京工程学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811175309.9/，转载请声明来源钻瓜专利网。
- 上一篇：一种双层钢化玻璃破窗器
- 下一篇：一种大数据系统的节点迁移方法
