[发明专利]一种并行存储高速网络流量的快速定位方法

摘要

本发明公开了一种基于新的索引方式的多队列并行存储网络流量的快速定位方法，在流量的捕获过程中对各个队列按照一定的时间间隔建立局部索引节点，各个队列的索引节点的时间戳都是同步的，根据流量的起始时间或者起始数据包序号来定位流量的回放起始点。其中，在流量捕获完成后不需要将局部索引更新为全局索引，避免了对长时间索引更新过程的等待，捕获结束后即可回放流量文件，捕获回放效率更高效。

主权项

一种多队列并行存储网络流量的快速定位方法，包括以下步骤：第一步，在流量捕获时将数据报文按照哈希算法放入不同的多个队列，将每个队列的流量实时存入高性能SAS磁盘阵列或其他高速存储设备中；其中，在捕获流量开始的时候确定一个捕获开始时间，为每个队列建立第一个局部索引节点，该索引节点记录每个队列第一个数据包的信息，并且指向每个队列的第一个数据包的位置，各个队列的第一个索引节点的时间戳相同，即捕获开始时间；第二步，在后续捕获过程中各个队列每隔一定的时间间隔建立一个局部索引节点，将每个队列的流量分成以相同时间间隔的数据包块，索引节点记录对应时间的下一个数据包的信息，即下一个数据包块中的第一个数据包的位置；其中，各个队列的索引节点的时间戳同步。第三步，流量捕获结束后，对捕获到的流量进行回放；其中，流量回放时，若根据流量的起始时间来定位每个队列流量的开始位置，则还包括如下步骤：(1)对于所述多个队列中的一个队列，使用二分查找算法通过查看该队列中的局部索引的时间戳，找到最后一个时间戳小于或等于流量起始时间的索引节点，即目标流量的开始位置在该队列中的起始数据块；对于所述多个队列中的其他队列，利用各个队列的索引节点时间戳同步的特征，目标流量的开始位置在所述其他队列中的起始数据块根据从所述多个队列中的一个队列找到的所述索引节点得到；(2)从每个队列确定的起始数据块的第一个数据包开始顺序往后查找，直到找到数据包的时间戳大于或等于回放流量的起始时间，所得到的数据包即为各个队列中流量的开始位置；流量回放时，若根据流量的起始数据包序号来定位每个队列流量的开始位置，则包括如下步骤：(1)对于所述多个队列中的一个队列，使用二分查找算法通过查看该队 列中的局部索引的局部序号，找到最后一个在某一时间点上各个队列索引节点中局部序号之和小于或者等于起始数据包序号的索引节点，即目标流量的开始位置在该队列中的起始数据块；对于所述多个队列中的其他队列，利用各个队列的索引节点时间戳同步的特征，目标流量的开始位置在所述其他队列中的起始数据块根据从所述多个队列中的一个队列找到的所述索引节点得到；(2)用起始数据包序号减去指向目标流量开始位置在各个队列中起始数据块对应的局部索引节点中的局部序号，将这个结果序号记为待处理数据包序号；(3)从目标流量开始位置在各个队列中的起始数据块开始，设置每个队列当前查找的数据包为队列所确定的数据块的第一个数据包的下一个数据包；(4)比较每个队列当前查找数据包的时间戳，将时间戳最小的数据包所在队列设为当前处理队列；将该队列当前查找的数据包设置为当前查找数据包的下一个数据包，同时将待处理数据包序号减去1；(5)重复步骤(4)，直到待处理数据包序号减为0，各个队列的当前查找数据包即为目标流量在各个队列流量的开始位置。