[发明专利]一种自适应的数据同步方法以及系统

说明书

本申请公开了一种自适应的数据同步方法以及系统，属于数据同步技术领域，数据同步方法通过获取当前数据块的特征码并且根据特征码的标识判断当前数据块的压缩比高低，从而可以分析出当前数据块是否需要进行压缩，若无需进行压缩，可以直接对数据块进行传输同步，若分析到需要进行压缩，在对数据块进行压缩后才对数据进行同步传输，这样可以减少传输的带宽消耗，本申请可以自适应的对数据块进行压缩或不压缩，可以节省大量的CPU资源，保证系统的流畅度，并且在判断到无需同步时可以马上对数据进行传输同步，减少压缩的时间，可以提升数据同步的效率。

技术领域

本发明属于数据同步技术领域，尤其涉及一种自适应的数据同步方法以及系统。

背景技术

数据同步过程是将一个硬盘中的数据进行复制并且传输到另一硬盘中进行存放，在同步过程中数据压缩是一种常见的优化数据传输的手段，具体的，数据压缩是在发送数据之前把数据进行压缩，以减少传输量，接收端在接收到压缩数据时会对数据进行解压再提交到上层应用。但是目前所采用的数据压缩手段比较单一都是直接将所有的数据进行压缩并且进行传输，但是如果传输的数据本身已经是被压缩过的（假如传输的是压缩文件数据内容），那么再进行二次压缩是没有太大效果和意义的，而且数据压缩本身是一个消耗CPU资源的过程，对数据块进行二次压缩将会大量消耗CPU资源，造成系统卡顿。

发明内容

（一）发明目的

为了克服以上不足，本发明的目的在于提供一种自适应的数据同步方法以及系统，以解决现有的数据同步过程中数据压缩比较单一并且常会对二次压缩的数据进行再次压缩之后进行传输，对数据块进行二次压缩将会大量消耗CPU资源，造成系统卡顿的技术问题。

（二）技术方案

为实现上述目的，本申请一方面提供的技术方案如下：

一种自适应的数据同步方法，包括以下步骤：

在接收到数据块时，获取当前数据块的特征码并且基于特征码所对应的标识判断数据块的压缩比高低，其中，标识为压缩比为高或压缩比为低；

若判断到当前数据块的压缩比为高，对当前数据块进行压缩；

若判断到当前数据块的压缩比为低，不对当前数据块进行压缩。

本申请通过获取当前数据块的特征码并且根据特征码的标识判断当前数据块的压缩比高低，从而可以分析出当前数据块是否需要进行压缩，若无需进行压缩，可以直接对数据块进行传输同步，若分析到需要进行压缩，在对数据块进行压缩后才对数据进行同步传输，这样可以减少传输的带宽消耗，本申请可以自适应的对各种数据块进行压缩或不压缩，可以节省大量的CPU资源，保证系统的流畅度，并且在判断到无需同步时可以马上对数据进行传输同步，减少压缩的时间，可以提升数据同步的效率。

在一些实施例中，提取当前数据块的特征码之前，还包括：获取多种格式的特征码以及获取每种特征码所对应的压缩比标识，将多种特征码以及对应的标识存入到数据库中。

在一些实施例中，获取当前数据块的特征码并且基于特征码所对应的标识判断数据块的压缩比高低包括：

提取接收到的当前数据块的特征码并且根据该特征码在数据库中查找对应的标识。

在一些实施例中，若在数据库中未查找到当前数据块所对应的特征码：

对当前数据块的特征码的压缩比进行预标识并且将特征码以及预标识存入到数据库中；

在预定周期或预定次数内每当接收到该特征码对应的数据块时均对该数据块进行压缩并且每次压缩后均判断数据块的压缩比高低以获取预标识的准确率；

判断预标识的准确率是否达到第一预定阈值；