[发明专利]数据切分方法、判重方法及电子设备

说明书

本申请提供了数据切分方法、判重方法及电子设备。数据判重方法包括：获取待处理数据的签名；对所述签名进行至少一级切分，以获得至少两个签名前缀；根据所述至少两个签名前缀，对所述待处理数据进行判重。采用本申请技术方案可以提高数据判重的时间效率。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据切分方法、判重方法及电子设备。

背景技术

在处理海量数据(例如文档或网页)时，为了节约存储空间，通常都会对数据进行判重。目前业界的主流做法是基于SimHash算法进行数据判重。SimHash算法是数据去重最常用的哈希(Hash)方法，其原理是：选定SimHash值的位数；将SimHash值的各位初始化为0；提取待签名数据中的特征；使用传统Hash函数计算各个特征的Hash值；对各特征的Hash值的每一位，如果该位为1，则SimHash值相应位的值加1；否则减1；对得到的SimHash值的每一位，若该位大于1，则设为1，否则设为0，得到SimHash签名。SimHash算法的速度很快。

基于SimHash算法的数据判重过程为：对历史数据进行SimHash签名并存储SimHash签名；对新数据，首先对其进行SimHash签名，然后比较其SimHash签名和历史数据的SimHash签名是否相似，以判断新数据中是否已存在于历史数据中。

上述方案在最差情况下，每次都需要遍历全部历史数据的SimHash签名进行比较，虽然时间复杂度上是O(n)，但由于历史数据基数较大，例如对于爬虫平台而言，其数据量基本上都是上亿级别的，所以时间效率仍旧较低。

发明内容

本申请提供一种数据切分方法、判重方法及电子设备，用以提高数据判重的时间效率。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种数据切分方法，包括：

获取待处理数据的签名；

对所述签名进行至少一级切分，以获得至少两个签名前缀；

对应存储所述至少两个签名前缀中的每个签名前缀和所述签名。

第二方面，提供了一种数据判重方法，包括：

获取待处理数据的签名；

对所述签名进行至少一级切分，以获得至少两个签名前缀；

根据所述至少两个签名前缀，对所述待处理数据进行判重。

第三方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，以用于：

获取待处理数据的签名；

对所述签名进行至少一级切分，以获得至少两个签名前缀；

对应存储所述至少两个签名前缀中的每个签名前缀和所述签名。

第四方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，以用于：

获取待处理数据的签名；

对所述签名进行至少一级切分，以获得至少两个签名前缀；

根据所述至少两个签名前缀，对所述待处理数据进行判重。