[发明专利]一种面向流式数据的实时摘要生成方法

摘要

本发明公开了一种面向流式数据的实时摘要生成方法，采用存储中间计算结果的方法进行流式数据摘要计算，能够处理数据缺损、乱序和重叠的情况，并且采用矩阵的乘法运算作为强哈希算法减少内存占用，使得本发明能够使用较少的内存实时计算流式数据摘要。

主权项

1.一种面向流式数据的实时摘要生成方法，包括：1)更新流式输入的每个数据块左邻的计算上下文，如果数据块没有左邻，则将其作为初始化的计算上下文，将更新后的计算上下文保存到区间索引；2)在区间索引中查找已输入数据的计算上下文，对相邻的计算上下文进行合并；3)遍历区间索引，将其中的摘要值进行拼接并输出；更新流式输入的每个数据块左邻的计算上下文的步骤包括：1‑1)保留数据块的前w‑1个字节到计算上下文的缓冲区中，其中w为弱哈希函数的滑动窗口值，所述数据块的起始位置记为s；1‑2)计算数据块每一个字节的弱哈希值和强哈希值；1‑3)当步骤1‑2)计算得到的弱哈希值满足分片条件，则找到重置点，i.如果是上下文中的第一个重置点，则s至重置点之间的部分称为左截断数据，计算它的强哈希值，记为部分强哈希值pshv；ii.如果不是第一个，则新划分出一个分片，记为该分片的强哈希值；iii.更新s为分片结束后的下一字节，回到步骤1‑2)；当当次输入数据中所有数据块计算结束，将最后一个重置点到数据块结束位置之间的数据称为右截断数据，该部分的强哈希值称为强哈希状态，记为shs。