[发明专利]一种数据传输加速的方法及系统

说明书

技术领域

本发明涉及互联网中的数据传输技术，具体涉及一种数据传输加速的方法及系统。

背景技术

随着网络的普及，网络中承载的数据呈井喷式的增长，使得数据传输的速度受到严重的影响。为了解决这个问题，有几种解决方式：一种方法是，不断的升级带宽，但升级带宽需要昂贵的费用，并非根本的解决办法；

另一种方法是，将数据压缩。目前，主流的压缩技术是LZO(Lempel-Ziv-Oberhumer)数据压缩算法及其变形压缩算法，由于LZO数据压缩算法只能在较小数据区域内进行数据压缩，压缩比不高，对减少冗余数据的效果有限；另外，对已经压缩过的数据没有任何作用，因此，也不能有效的解决问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据传输加速的方法及系统，能提高数据的传输效率，减少数据传输对带宽的消耗。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种数据传输加速的方法，该方法包括：

数据发送端将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在哈希(hash)桶中，发送标签和hash桶给数据接收端；

数据接收端依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据分段还原。

上述方案中，所述将特征值在数据字典中的位置保存在hash桶中包括：

将数据分段按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的对应的特征值计算hash桶桶号。

上述方案中，该方法还包括：

将无类别或特征值数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中。

上述方案中，所述数据发送端将数据分段之前，该方法还包括：将数据发送端和数据接收端的数据字典初始化，校验数据字典内容。

上述方案中，所述数据字典存储有字段和特征值的对应关系。

本发明还提供了一种数据传输加速的系统，该系统包括数据发送端和数据接收端；其中，

所述数据发送端，用于将数据分段，查询数据字典获得数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，发送标签和hash桶给数据接收端；

所述数据接收端，用于依次读取hash桶中存储的特征值在数据字典中的位置，查询数据字典，根据标签以及所述特征值在数据字典中的位置获得特征值对应的数据，按标签中特征值的顺序依次将数据还原。

上述方案中，所述数据发送端，还用于将数据分段分类，相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，并利用该hash桶中的对应的特征值计算hash桶桶号；将无类别或特征值数量不足以计算hash桶号的数据分段的特征值在数据字典的位置保存在默认hash桶中。

上述方案中，所述数据发送端，还用于在数据分段之前将数据字典初始化，校验数据字典内容；

相应的，所述数据接收端，还用于在数据分段之前将数据字典初始化，校验数据字典内容。

上述方案中，所述数据发送端包括第一数据处理单元和第一存储单元；其中，

所述第一数据处理单元，用于将数据分段，查询数据字典获取数据分段中与数据字典中字段匹配的特征值，将获得的特征值按对应字段在数据分段中出现的顺序组成标签，并将特征值在数据字典中的位置保存在hash桶中，将标签和hash桶发送给数据接收端；

所述第一存储单元，用于存储数据字典。

上述方案中，所述第一数据处理单元，还用于将数据按类别分组，将相同类别数据分段的特征值在数据字典中的位置保存在相同hash桶中，将无类别或数量不足以计算hash桶号的特征值在数据字典中的位置保存在默认hash桶中；

相应的，所述系统还包括计算单元，用于利用hash桶中的特征值计算hash桶号。

上述方案中，所述数据发送端还包括第一校验单元，用于在数据传输之前将数据字典初始化，校验数据字典内容。

上述方案中，所述数据接收端包括第二数据处理单元和第二存储单元；其中：