[发明专利]数据去重方法及装置在审
| 申请号： | 201710929827.4 | 申请日： | 2017-09-30 |
| 公开（公告）号： | CN110069460A | 公开（公告）日： | 2019-07-30 |
| 发明（设计）人： | 刘凯 | 申请（专利权）人： | 北京国双科技有限公司 |
| 主分类号： | G06F16/174 | 分类号： | G06F16/174;G06F16/903 |
| 代理公司： | 北京康信知识产权代理有限责任公司 11240 | 代理人： | 赵囡囡 |
| 地址： | 100086 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种数据去重方法及装置。其中，该方法包括：根据预设排序条件，对第一文件和第二文件中的多条数据分别进行排序，其中，第一文件和第二文件中设置有对应的指针，指针用于指示文件中每条数据所在行的排序位；根据排序结果，判断第一字符串数据与第二字符串数据是否相同；若判断出第一字符串数据与第二字符串数据相同，记录相同的字符串数据在对应文件中的位置信息；根据记录的位置信息，对第一文件和第二文件中相同的字符串数据进行去重处理。本发明解决了相关技术中对于数据量较大的文件，在匹配重复数据时，效率较低的技术问题。 | ||
| 搜索关键词： | 字符串数据 去重 排序 指针 对应文件 排序结果 排序条件 指示文件 重复数据 数据量 记录 预设 匹配 | ||
【主权项】：
1.一种数据去重方法，其特征在于，包括：根据预设排序条件，对第一文件和第二文件中的多条数据分别进行排序，其中，所述第一文件和第二文件中设置有对应的指针，所述指针用于指示文件中每条数据所在行的排序位，所述第一文件的指针指示的字符串数据对应为第一字符串数据，所述第二文件的指针指示的字符串数据为第二字符串数据，所述第一文件中的数据量大于所述第二文件中的数据量；根据排序结果，判断所述第一字符串数据与所述第二字符串数据是否相同；若判断出所述第一字符串数据与所述第二字符串数据相同，记录相同的字符串数据在对应文件中的位置信息；根据记录的位置信息，对所述第一文件和第二文件中相同的字符串数据进行去重处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司，未经北京国双科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710929827.4/，转载请声明来源钻瓜专利网。
- 上一篇：文件监控方法、装置和电子设备
- 下一篇：数据共享方法及装置
