[发明专利]一种数据去重的方法及装置

说明书

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据去重的方法及装置。

背景技术

在当今的大数据时代，随着信息化的发展，用数据说话是很多企业经营者的理念。企业要处理的数据量激增，大数据带来便利的同时，也给技术人员增加了一些负担，在海量的数据中，存在大量的重复数据，造成系统的负载越来越大，数据入库和查询性能随之下降，如何实现对大量重复垃圾数据的删除，减少硬盘的使用率，成为大数据时代亟待解决的难题。

发明内容

本发明提供一种数据去重的方法及装置，以实现对大规模数据的去重，减少硬盘的使用率。

第一方面，本发明实施例提供了一种数据去重的方法，该方法包括：

获取待处理数据的MD5值和对应的数据标识；

将所述MD5值和所述数据标识组成所述待处理数据的键值对；

比对所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值；

如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则删除所述待处理数据，并确定与所述待处理数据重复的已有数据的数据标识。

进一步地，在删除所述待处理数据之后，还包括：

将待处理数据的键值对与所述待处理数据重复的已有数据的键值对保存在重复统计库中。

进一步地，还包括：

如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值不同，则将所述待处理数据和对应的数据标识存入数据库；

保存所述待处理数据的键值对到已有数据的键值对中。

进一步地，获取待处理数据的MD5值和对应的数据标识包括：

按行读取待处理数据；

计算所述待处理数据的MD5值；

根据读取时间和/或读取待处理数据时的线程号，生成所述待处理数据的数据标识。

进一步地，计算所述待处理数据的MD5值包括：

如果所述待处理数据中包含预设忽略数据，则将所述待处理数据去除所述预设忽略数据；

计算去除所述预设忽略数据后的待处理数据的MD5值，作为所述待处理数据的MD5值。

第二方面，本发明实施例还提供了一种数据去重的装置，该装置包括：

数据标识获取模块，用于获取待处理数据的MD5值和对应的数据标识；

键值对组成模块，用于将所述MD5值和所述数据标识组成所述待处理数据的键值对；

MD5值比对模块，用于比对所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值；

重复数据确定模块，用于如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则删除所述待处理数据，并确定与所述待处理数据重复的已有数据的数据标识。

进一步地，还包括键值对保存模块，用于在删除所述待处理数据之后，将待处理数据的键值对与所述待处理数据重复的已有数据的键值对保存在重复统计库中。

进一步地，还包括数据存储模块，具体用于：

如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值不同，则将所述待处理数据和对应的数据标识存入数据库；

保存所述待处理数据的键值对到已有数据的键值对中。

进一步地，数据标识获取模块包括：

数据读取单元，用于按行读取待处理数据；

MD5值计算单元，用于计算所述待处理数据的MD5值；

数据标识生成单元，用于根据读取时间和/或读取待处理数据时的线程号，生成所述待处理数据的数据标识。

进一步地，MD5值计算单元具体用于：

如果所述待处理数据中包含预设忽略数据，则将所述待处理数据去除所述预设忽略数据；

计算去除所述预设忽略数据后的待处理数据的MD5值，作为所述待处理数据的MD5值。

本实施例的技术方案，通过将待处理数据的MD5值和数据标识组成键值对，并比对待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值，将与已有数据的MD5值相同的待处理数据删除，解决了海量数据中存在重复数据的问题，达到了在入库之前对数据进行去重的效果，减少硬盘的使用率，降低成本。

附图说明

图1为本发明实施例一提供的一种数据去重的方法的流程图；

图2是本发明实施例二提供的一种数据去重的方法的流程图；

图3为本发明实施例提供的一种数据去重方法中的数据处理系统的整体框架图；