[发明专利]一种简单高效的多链路数据去重方法

权利要求书

1.一种简单高效的多链路数据去重方法，其特征在于，包括：

获取接收端接收的若干个链路数据包：

分别确定若干个链路数据包的类型并进行分类，确定为第一链路数据包集合及第二链路数据包集合；所述第一链路数据包集合包括多个第一链路数据包，所述第一链路数据包为链路碎片数据；所述第二链路数据包集合包括多个第二链路数据包，所述第二链路数据包为链路完整数据；

分别判断第一链路数据包集合中的第一链路数据包是否为冗余包，筛选出为冗余包的第一链路数据包并进行去重处理；

分别判断第二链路数据包集合中的第二链路数据包是否为冗余包，筛选出为冗余包的第二链路数据包并进行去重处理；

分别判断第一链路数据包集合中的第一链路数据包是否为冗余包，筛选出为冗余包的第一链路数据包并进行去重处理，包括：

获取历史第一链路数据包的源id，并建立去重红黑树；

所述去重红黑树包括多个树节点，每一个树节点中存储有源端口、目的端口及历史第一链路数据包序号；

根据每一个树节点中存储的源端口、目的端口及历史第一链路数据包序号建立第一hash表；

所述第一hash表包括多个第一节点，每个第一节点中存储有历史信息；

获取第一链路数据包的源id，根据第一链路数据包的源id在所述去重红黑树上确定目标树节点；

根据目标树节点中存储的第一目标包序号快速定位到第一hash表中的相应位置，确定第一目标节点；

将本次的第一链路数据包的第一待存储信息与第一目标节点存储的历史信息进行比较，在确定两者一致时，判断第一目标节点存储历史信息与本次的第一链路数据包的第一待存储信息之间的时间差是否小于预设时间差；

在确定第一目标节点存储历史信息与本次的第一链路数据包的第一待存储信息之间的时间差小于预设时间差时，表示第一链路数据包为冗余包，进行去重处理，不进入后续的数据重组处理流程；

分别判断第二链路数据包集合中的第二链路数据包是否为冗余包，筛选出为冗余包的第二链路数据包并进行去重处理，包括：

获取历史第二链路数据包的源i d，建立第二hash表及第三hash表；所述第二hash表以历史第二链路数据包的源i d为KEY；所述第二hash表与所述第三hash表建立关联关系；

获取第二链路数据包的源i d，快速查找到第二hash表中第二目标节点；

根据所述第二目标节点中存储的第二目标包序号快速定位到第三hash表中的相应位置，确定第三目标节点；

在确定所述第三目标节点中存储的第三目标包序号与第二链路数据包序号一致时，判断第三目标节点历史存储第三目标包序号与本次收到第二链路数据包之间的时间差是否小于预设时间差；

在确定第三目标节点历史存储第三目标包序号与本次收到第二链路数据包之间的时间差小于预设时间差时，表示第二链路数据包为冗余包，进行去重处理，不进入后续的数据重组处理流程。

2.如权利要求1所述的简单高效的多链路数据去重方法，其特征在于，所述时间差为3s。

3.如权利要求1所述的简单高效的多链路数据去重方法，其特征在于，所述历史信息包括历史第一链路数据包序号、用于重组数据的bit map值，历史第一链路数据包的长度、历史第一链路数据包在待传输数据包内的偏移位置，历史第一链路数据包的唯一标识ID、历史第一链路数据包的被接收时间。