[发明专利]数据切分方法、判重方法及电子设备

权利要求书

1.一种数据切分方法，其特征在于，包括：

获取待处理数据的签名；

对所述签名进行至少一级切分，以获得至少两个签名前缀；

对应存储所述至少两个签名前缀中的每个签名前缀和所述签名。

2.根据权利要求1所述的方法，其特征在于，所述对所述签名进行至少一级切分，以获得至少两个签名前缀，包括：

根据汉明距离的相似阈值，确定切分段数；

按照所述切分段数，对所述签名进行至少一级切分，以获得所述至少两个签名前缀。

3.根据权利要求2所述的方法，其特征在于，所述按照所述切分段数，对所述签名进行至少一级切分，以获得所述至少两个签名前缀，包括：

按照所述切分段数，对所述签名进行一级切分，以获得至少两个前缀首部；

对于所述至少两个前缀首都中的每个前缀首部，按照所述切分段数，对所述签名中除所述前缀首部之外剩余的位数进行二级切分，以获得所述前缀首部对应的至少两个前缀尾部；

对所述每个前缀首部，将所述前缀首部和所述前缀首部对应的至少两个前缀尾部中的每个前缀尾部分别组合在一起，形成所述至少两个签名前缀中的一个签名前缀。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对应存储所述至少两个签名前缀中的每个签名前缀和所述签名，包括：

以所述签名为主键，将所述每个签名前缀用分隔符拼接后存储到一个字段中，并为所述字段设置索引；或者

以所述每个签名前缀作为键，将所述签名追加到所述键对应的取值列表中；或者

以所述每个签名前缀作为键，将所述签名更新为所述键对应的取值。

5.一种数据判重方法，其特征在于，包括：

获取待处理数据的签名；

对所述签名进行至少一级切分，以获得至少两个签名前缀；

根据所述至少两个签名前缀，对所述待处理数据进行判重。

6.根据权利要求6所述的方法，其特征在于，所述根据所述至少两个签名前缀，对所述待处理数据进行判重，包括：

以所述至少两个签名前缀作为查询条件，在历史签名前缀中进行查询；

若未查询到与所述至少两个签名前缀中任何签名前缀相同的历史签名前缀，确定所述待处理数据为非重复数据。

7.根据权利要求6所述的方法，其特征在于，还包括：

若查询到与所述至少两个签名前缀中任意签名前缀相同的历史签名前缀，将所述签名和所述查询到的历史签名前缀对应的历史签名进行相似比较；

若所述签名与所述历史签名不相似，确定所述待处理数据为非重复数据。

8.根据权利要求7所述的方法，其特征在于，还包括：

若所述签名与所述历史签名相似，确定所述待处理数据为重复数据。

9.根据权利要求6或7所述的方法，其特征在于，还包括：

对应存储所述待处理数据、所述每个签名前缀和所述签名。

10.一种电子设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，以用于：

获取待处理数据的签名；

对所述签名进行至少一级切分，以获得至少两个签名前缀；

对应存储所述至少两个签名前缀中的每个签名前缀和所述签名。

11.根据权利要求10所述的电子设备，其特征在于，所述处理器在对所述签名进行至少一级切分时，具体用于：

根据汉明距离的相似阈值，确定切分段数；

按照所述切分段数，对所述签名进行至少一级切分，以获得所述至少两个签名前缀。