[发明专利]数据分割方法

说明书

本发明提供了一种数据分割方法，从输入数据S的一个起点位置按序增量取得索引数据串Ck，使用该索引数据串Ck扫描输入数据S的剩余位，记录与Ck相同的数据段的起点位置Lm，以及数据长度、重复次数和Ck，最后得到最佳重复数据的位置的集合，将所述集合中的数据确定为数据分割点。

技术领域

本发明涉及一种数据处理技术领域，尤其是数据分割方法。

背景技术

在数据传输的各个层次，减少传输重复数据的传输都具有重要意义。而减少数据重复传输的关键，在于如何获知哪些数据是重复的，以及在数据接收端迅速且无瑕疵地的恢复数据发送端的原始数据。对于静态数据，即内容确定的数据集合，如果能够获知需要重复传输的数据或数据集合，为重复的数据分配一个标签或标识，就可以用所述标签替代重复的数据进行传输，从而减少数据的重传以及在数据接收端恢复原始数据。而且，标签的长度和重复数据长度的比值越小，数据传输效率就越高。而对于动态数据，即内容不确定的数据集合，则需要恰当地分割数据以获得重复数据，以及为所述重复数据分配一个标签。

在一个数据集合中找到标签能够替代的数据段的过程，就是在数据传输前对其实施的一种预处理过程。现有的基于标签技术的数据预处理方法通常采用滑动窗口技术从一个方向顺序扫描所述数据集合，如果找到一个标签能够代替的数据段，就用所述数据段的标签代替所述数据段，然后继续扫描，直到数据集合扫描完毕。公知的常识是，扫描操作的起点不同，最后得到的扫描结果或数据预处理结果也有很大不同，也就是说，现有的数据预处理方法难以得到最佳的数据预处理结果。

所述数据预处理结果如何，本质上看取决于对待处理数据的分割过程，也受标签数据库中与标签绑定的数据段的重复性的影响，而数据库的生成过程是通过对大量特定领域的数据分析预先完成的，即尽可能多地确定多个重复概率较高的数据段，因此，所述数据段的重复性，本质上也受数据分析过程中数据分割方法的影响。因此，迫切需要一种有效的数据分割方法，来提高标签数据库中数据段的重复性和待处理数据分割过程的有效性。

发明内容

本发明解决的问题是，提供一种能够有效分割数据的数据分割方法。

为解决上述问题，本发明实施例提供的数据分割方法，包括：

A、对输入数据S，从一个方向确定一个起点位置i；

B、判断位置i是否为输入数据S的尾部，如果是，输出失败信息，结束；否则转步骤C；

C、使用位置i到数据S尾部的数据生成待处理数据串Si，Ck＝Si的前k位，1≤k≤[j/2]，令j等于Si的长度；其中，[]为取小数点前面整数部分的取整计算符号；

D、使用Ck从Si的k+1位起扫描剩余位，记录Ck，与Ck相同的数据段的起点位置Lm，以及数据长度、重复次数；令k＝k+1，Ck＝Si的前k位，其中，m为大于1的整数；

E、判断k是否小于[j/2],如果是，则转步骤F；否则转步骤G；

F、使用Ck从Si大于k位的Lm位置起扫描k位数据，记录Ck，与Ck相同的数据段的起点位置Lm，以及数据长度、重复次数；令k＝k+1，Ck＝Si的前k位，转步骤E；

G、根据扫描得到的数据长度、重复次数和Ck得到最佳重复数据，将所述最佳重复数据的Lm位置确定为数据分割点。

本发明实施例提供的另一个数据分割方法，包括：

A、对输入数据S，从一个方向确定一个起点位置i；

B、判断位置i是否为输入数据S的尾部，如果是，转步骤H；否则转步骤C；

C、使用位置i到数据S尾部的数据生成待处理数据串Si，Ck＝Si的前k位，1≤k≤[j/2]，令j等于Si的长度；其中，[]为取小数点前面整数部分的取整计算符号；