[发明专利]基于零碰撞散列算法的网络数据精简传输方法有效

专利信息
申请号: 201210525933.3 申请日: 2012-12-10
公开(公告)号: CN103259729B 公开(公告)日: 2018-03-02
发明(设计)人: 谢赟;吴新野;韩欣 申请(专利权)人: 上海德拓信息技术股份有限公司;浙江广播电视集团
主分类号: H04L12/743 分类号: H04L12/743;H04L12/861
代理公司: 上海天协和诚知识产权代理事务所31216 代理人: 沈国良
地址: 200233 上海*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明涉及用于局域网或广域网的数据传输领域,具体为一种基于零碰撞散列算法的网络数据精简传输方法。一种基于零碰撞散列算法的网络数据精简传输方法,包括将待传输的数据包分割,其特征是还包括如下步骤(1)切分数据包;(2) 零碰撞散列操作;(3) 匹配数据块;(4) 写入存储区;(5)更新缓冲区索引;(6)写入存储区;(7) 重复第(2)至第(6)步。本发明数据精简率高,传输速率快,安全性强,适用范围广。
搜索关键词: 基于 碰撞 算法 网络 数据 精简 传输 方法
【主权项】:
一种基于零碰撞散列算法的网络数据精简传输方法,包括将待传输的数据包分割,其特征是:还包括如下步骤:(1) 在客户端对要传输的数据包实施切分,产生多组数据块,具体切分方法:设定一切分值,设切分值为k0,将数据包从第一个字节起算每k0大小切分成一个数据块,如此对数据包依次切分直至剩下的数据块小于k0,将剩下的数据块作为最后一个数据块,完成切分;如果数据包小于k0,则不予切分而将整个数据包作为一个数据块;(2) 对一个数据块实施零碰撞散列操作,设计算所得的散列值为md5key,以md5key作为该数据块的指纹;(3) 根据指纹和指纹所对应的数据块内容在客户端全局缓冲区查找是否存在相同的数据块;(4) 如果客户端全局缓冲区不存在该数据块,则发送md5key和对应的数据块到服务器,服务器将md5key和数据块写入存储空间,并生成和md5key所对应的数据块标志,设数据块标志为block_id,服务器更新服务器端全局缓冲区索引,同时将block_id返回给客户端;(5) 客户端收到服务器返回的block_id后,将该数据块更新到客户端缓冲区索引,随后跳至第(7)步;(6) 如果数据块在客户端索引区找到相同的数据块,则取得该数据块的md5key和block_id,将md5key和block_id发送至服务器,服务器根据服务器端全局索引区找到block_id所对应的数据块,将该数据块写入存储空间;(7) 对下一个数据块重复上述第(2)至第(6)步,直至数据包的所有数据块都被处理完毕,结束网络数据精简传输。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海德拓信息技术股份有限公司;浙江广播电视集团,未经上海德拓信息技术股份有限公司;浙江广播电视集团许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201210525933.3/,转载请声明来源钻瓜专利网。

同类专利
  • 报文处理方法及装置-201510575456.5
  • 赵云峰;李佳 - 新华三技术有限公司
  • 2015-09-11 - 2019-10-08 - H04L12/743
  • 本申请公开了一种报文处理方法及装置,其中,该方法包括:在接收到报文之后,识别该报文需要执行的操作类型,从该报文中提取关键值并进行Hash计算;以计算结果作为Hash入口,从本设备上的Hash索引表中查找到至少一个Hash索引表项;将识别出的操作类型与该至少一个Hash索引表项进行匹配;若命中一个Hash索引表项,则根据命中的Hash索引表项对该报文进行处理。本申请在Hash索引表中引入了操作类型,可以使得不同操作类型复用同一内存空间,节省了表项空间资源,同时,间接的扩大了表项规格。
  • 分布式ipv6路由查找方法和系统-201610829157.4
  • 陈文龙;唐晓岚;张沛;张铭书 - 首都师范大学
  • 2016-09-18 - 2019-09-24 - H04L12/743
  • 本发明公开了分布式ipv6路由查找方法和系统,该方法包括:构建前缀长度为32位和前缀长度为48位的多分支Trie树;将所有前缀长度除了32位与48位的路由项以前缀长度划分,并建立哈希表;当添加路由项时,判定添加路由项的前缀长度是否为32或48,若是,则将添加路由项添加到多分支Trie树中的对应位置,若不是,则添加到哈希表中;当转发报文时,根据报文分别在多分支Trie树和哈希表中匹配结果转发报文。本发明具有如下优点:将前缀长度为32位和48位的路由占的总数较大,使用多分支Trie树极大的提高了查找速度;其它前缀长度的路由长度分布广、总数较少,用基于前缀长度的算法实现查找,能极大地提高查找速度。
  • 用于CUCKOO散列流查找的并发性的方法及设备-201610020853.0
  • R·王;D·周;B·理查德森;G·W·肯尼迪;C·麦西奥科;S·戈布瑞尔;T-Y·C·泰 - 英特尔公司
  • 2016-01-13 - 2019-09-10 - H04L12/743
  • 本文描述了用于CUCKOO散列流查找的并发性的技术。用于在网络设备处支持流查找表并发性的技术。该流转发表包括多个候选桶,该多个候选桶各自包括一个或多个条目。该网络设备包括流查找表写模块,该流查找表写模块被配置成用于经由原子指令执行密钥/值对的移位操作以便将该密钥/值对从一个候选桶移动到另一个候选桶以及使与由该移位操作影响的这些桶相关联的版本计数器递增。该网络设备另外包括流查找表读模块,该流查找表读模块用于在该流查找表上执行查找操作期间检查这些版本计数器以便确定移位操作是否影响这些桶的目前读取值。在此描述并要求保护其他实施例。
  • 免重复地址检测的层次移动IPv6快速切换方法-201610856964.5
  • 张连成;房家保;王振兴;孔亚洲;魏强;宇文慧强 - 中国人民解放军信息工程大学
  • 2016-09-28 - 2019-07-26 - H04L12/743
  • 本发明涉及一种免重复地址检测的层次移动IPv6快速切换方法,包含:MN移动到新的链路,接收到AR发来的本地MAP,定义MAP域边界;MN根据MAP域边界判断自身是否在域内移动;若是域内移动,跳过下一步骤执行;若是在域间移动,进入下一步骤;重新划分MN的IID;运用哈希算法进行快速重复检测,确定MN的IID在MAP域内唯一;MN使用无状态自动配置将MN自身IID与路由器通告报文中的地址前缀信息相结合,生成链路转交地址LCoA;若为域内移动,MN向MAP注册LCoA地址,完成切换过程;若为域间移动,生成区域转交地址RCoA,MN向家乡代理和通讯节点发送绑定更新,完成切换过程。本发明能较好地适应应用环境,有效缩短切换时延,具有很高的实用价值。
  • 一种应用于物联网的数据处理方法及装置-201910162515.4
  • 王文娟 - 江苏汇智达信息科技有限公司
  • 2019-03-05 - 2019-07-05 - H04L12/743
  • 本发明公开了一种应用于物联网的数据处理方法及装置,通过根据节点状态信息进行数据路由选择,将数据中的小文件合并成归档大文件,建立多条线程进行数据处理任务,客户端在读写数据开始前,在客户端本地为集群构建一致性哈希表;先对所述数据的关键字进行哈希计算得到哈希值,在一致性哈希表中查找所述关键字对应的节点,从而与远端数据节点进行数据连接,最后通过网络进行数据传输进行读写,从而解决了现有技术中物联网的数据汇聚时间较长、效率低下乃至数据传递失败等技术问题。
  • 基于多核系统的报文转发方法和装置-201510990469.9
  • 刘健男 - 东软集团股份有限公司
  • 2015-12-24 - 2019-05-31 - H04L12/743
  • 本发明提出一种基于多核系统的报文转发方法和装置,该基于多核系统的报文转发方法包括:接收报文,并从所述报文中提取五元组;在全局会话哈希表中,无锁查找是否存在与所述五元组对应的会话;如果不存在,则在接收到报文的CPU内新建会话,根据新建的会话转发所述报文;如果存在,确定所述会话属于的CPU;如果所述会话属于的CPU是接收到报文的CPU,根据接收到报文的CPU内的所述会话转发所述报文;如果所述会话属于的CPU不是接收到报文的CPU,则将所述报文转发给所述会话属于的CPU,并由所述会话属于的CPU根据所述会话转发所述报文。该方法能够基于多核系统的报文转发。
  • 比对流量表的方法及交换器-201711142562.X
  • 陈鸿玮 - 英业达科技有限公司;英业达股份有限公司
  • 2017-11-17 - 2019-05-24 - H04L12/743
  • 本发明公开一种比对流量表的方法及交换器,此比对流量表的方法包含当软体定义网路中的交换器接收到封包时,交换器解析封包的标头档以取得封包所涉及的至少一相关规则栏位,根据至少一相关规则栏位及交换器的复数个流量表的复数个兴趣规则栏位,选择相关流量表,及将封包所涉及的至少一相关规则栏位的内容与相关流量表的至少一流量条目所对应的规则内容相比对。相关流量表的至少一流量条目具有相同的至少一兴趣规则栏位,且封包所涉及的至少一相关规则栏位包含相关流量表的至少一兴趣规则栏位。
  • 最长前缀匹配与精确匹配结合的星载快速路由查找系统-201610932136.5
  • 何婧;乔庐峰;陈庆华;赵哲;李园利 - 西安空间无线电技术研究所
  • 2016-10-31 - 2019-05-24 - H04L12/743
  • 最长前缀匹配与精确匹配结合的星载快速路由查找系统,包括精确匹配查找模块和最长前缀匹配查找模块,精确匹配查找模块包括哈希查找电路,哈希散列表和老化更新管理电路;最长前缀匹配查找模块包括压缩Trie树查找电路、Trie树节点存储区和路由表项存储区。本发明方法通过建立最长前缀匹配与精确匹配相结合的路由查找结构,与传统的最长前缀匹配查找结构相比,增加了精确匹配查找以作为活跃路由表项的高速缓存,大大提高IP报文流的路由查找速度,从而有效降低了平均查找时间,另外通过构建精确匹配查找的老化更新管理电路,实现了活跃路由表项的自动学习和添加操作,完成了对路由表项的老化检查和删除操作,保障活跃路由表项的高效管理和查找性能。
  • 表项管理方法及装置-201510217432.2
  • 覃志祥 - 新华三技术有限公司
  • 2015-04-29 - 2019-03-15 - H04L12/743
  • 本发明提供表项管理方法及装置,该表项管理方法应用于网络设备,该网络设备中包含有TCAM,并且该TCAM中设置有存储区块,其中,存储有表项的存储区块处于使用状态,未存储表项的存储区块处于关闭状态,该方法包括:生成待添加表项;当TCAM中处于使用状态的存储区块的剩余空间小于待添加表项所需占用的空间时,则从处于关闭状态的存储区块中选择一存储区块,并将所选择的存储区块置为使用状态;向TCAM插入待添加表项。因此,本发明可以使得表项集中存储在处于使用状态的存储区块上,未存储表项的存储区块处于关闭状态,从而可以实现在满足表项存储的前提下,降低TCAM的功耗和发热量。
  • 一种报文分流方法及装置-201510036029.X
  • 肖寒;孙成浩;祝顺民;洪余柯;姜邦杰 - 阿里巴巴集团控股有限公司
  • 2015-01-23 - 2019-02-05 - H04L12/743
  • 一种报文分流方法及装置,该方法包括:将RSS随机秘钥中与RSS分流数据的待屏蔽比特在位置上相对应的比特及其后续的连续31个比特设置为0;使用上述RSS随机秘钥对接收到的报文的RSS分流数据进行哈希运算,根据哈希运算得到的哈希值对该报文进行分流处理;其中,上述RSS分流数据由一个或多个报文头字段组成。本申请可以充分利用网卡硬件已有的RSS报文分流技术,通过对网卡寄存器中的RSS随机秘钥进行设置实现报文分流,在现有的分流方式的基础上派生出多种新的分流方式以满足更多更灵活的系统需求,同时避免了管道模式对系统性能造成的不利影响。
  • 一种解决MAC HASH冲突的方法和装置-201710515788.3
  • 潘庭山 - 中兴通讯股份有限公司
  • 2017-06-29 - 2019-01-15 - H04L12/743
  • 本发明公开了一种解决MAC HASH冲突的方法和装置,该方法包括:在CPU接收到来自交换芯片的携带有原因为MAC学习到HASH冲突的报文时,执行为交换芯片的第一访问控制列表组预先设置的第一ACL规则,其中,第一ACL规则为获取待转发的报文的目的MAC和VLAN,并根据目的MAC和VLAN确定待转发的报文的源物理端口;将待转发的报文重定向至源物理端口。通过该方法确定了MAC学习到HASH冲突时的报文转发地址,系统性能大大提高,解决现有技术的如下问题:针对2层以太网交换的网络设备内部芯片,当MAC条目较多的时候,会出现MAC HASH冲突导致MAC无法学习到硬件芯片上的情况,进而造成报文被广播。
  • 一种报文转发方法及装置-201811120993.0
  • 王国利;梁美园 - 新华三信息安全技术有限公司
  • 2018-09-26 - 2019-01-15 - H04L12/743
  • 本发明实施例提供了一种报文转发方法及装置,报文转发方法应用于IRF虚拟设备,包括:对接收到的第一报文中的报文信息进行哈希运算,确定处理第一报文的第一业务板;在根据第一业务板对第一报文进行地址转换处理得到的报文信息,转发第一报文后,接收第一报文对应的反向报文,并对反向报文中的报文信息进行哈希运算,确定处理反向报文的第二业务板;判断第二业务板与第一业务板是否一致;若不一致,则将第一业务板的会话表项同步至第二业务板,在第二业务板确定反向报文匹配会话表项,并基于会话表项对反向报文进行地址转换处理后,转发反向报文。通过本方案,可以保证正确地进行业务处理。
  • 用于分布式路由表查找的分布式路由器的入口计算节点和机器可读介质-201510136802.X
  • S·戈布瑞尔;R·王;C·麦西奥科;T-Y·泰 - 英特尔公司
  • 2015-03-26 - 2018-12-11 - H04L12/743
  • 用于经由分布式路由器的分布式表查找的技术包括入口计算节点、中间计算节点以及出口计算节点。该分布式路由器的每个计算节点包括用于存储从该分布式路由器的路由表获得的不同网络路由条目集合的转发表。该入口计算节点基于包括在所接收到的网络分组中的目的地地址生成散列密钥。该散列密钥标识该分布式路由器的存储包括与该目的地地址相对应的网络路由条目的转发表的中间计算节点。该入口计算节点将所接收到的网络分组转发到该中间计算节点以便路由。该中间计算节点接收所转发的网络分组、确定该网络分组的目的地地址以及确定该出口计算节点以便从该分布式路由器传输该网络分组。
  • 一种查表方法及装置-201710273440.8
  • 毕杰 - 中兴通讯股份有限公司
  • 2017-04-21 - 2018-11-02 - H04L12/743
  • 本发明公开了一种查表方法及装置,所述方法包括:接收到报文并确定出所述报文为表项查询请求报文时,对所述表项查询请求报文进行解析,得到TCAM芯片的ID信息;根据所述TCAM芯片的ID信息,将所述表项查询请求报文发送给相应的TCAM芯片进行表项查找操作;接收所述TCAM芯片发送的表项查找结果,所述表项查找结果携有表项标识;将所述表项标识转换为存储模块中对应的物理地址;依据所述物理地址,在存储模块中查询用户数据信息。
  • 一种优化的路由存储方法-201810369065.1
  • 汪革;芶利平;于广程 - 上海泰砚通信技术有限公司
  • 2018-04-23 - 2018-10-19 - H04L12/743
  • 本发明公开了一种优化的路由存储方法,其将路由中用到的不同下一跳集中存储,且同一个下一跳可被多条路由所共享。本发明提供的方案将下一跳由按路由条目分散存储改为集中共享式存储,使得相同的下一跳只需保存一份,且可以由所有用到它的路由共享,节约了大量内存,有效克服现有技术中所存在的问题。
  • 一种网络设备及报文处理方法-201810271519.1
  • 王春磊 - 新华三信息安全技术有限公司
  • 2018-03-29 - 2018-10-16 - H04L12/743
  • 本申请实施例提供了一种网络设备和报文处理方法,网络设备包括接口、多个内核、报文解析模块和微引擎。接口,用于接收网络报文;报文解析模块,用于从网络报文中提取报文特征信息,将报文特征信息传输给微引擎;微引擎,用于计算报文特征信息的hash值,根据预先存储的hash值与内核的对应关系,从多个内核中确定计算得到的hash值对应的目标内核,将网络报文传输给目标内核;目标内核,用于向其他网络设备转发网络报文。应用本申请实施例提供的技术方案,在实现网络报文分发处理的情况下,降低CPU资源的浪费,提高CPU的效率。
  • 用于云平台网络的安全控制方法-201510584112.0
  • 杜学凯;叶家炜;祖立军;严逸兴;李戈 - 中国银联股份有限公司
  • 2015-09-15 - 2018-09-21 - H04L12/743
  • 本发明提出了用于云平台网络的安全控制方法,所述方法包括:云网络平台的控制器在发送控制数据报文时基于预设的安全等级值和第一当前有效密钥以及预定的散列函数对所述控制数据报文中的应用层数据进行散列运算以获得运算结果;将所述运算结果的第一部分作为认证数据附加入所述控制数据报文中,并且将所述运算结果的第二部分作为新的第一当前有效密钥以供下一次散列运算使用;将附加有所述认证数据的控制数据报文发送至所述云网络平台中的目标节点,随之所述目标节点使用与所述控制器采用的散列运算相对应的算法验证所述认证数据。本发明所公开的用于云平台网络的安全控制方法具有高的安全性等级。
  • 网络中继装置-201410023188.1
  • 安多慎 - 日立金属株式会社
  • 2014-01-17 - 2018-08-28 - H04L12/743
  • 本发明提供一种网络中继装置,能够容易地掌握哈希值的冲突状况。地址表(FDB1)所具有的多个条目各自具有:第一区域(AR1),其用于登记第一信息,该第一信息表示多个端口、与存在于所述多个端口的目的地的MAC地址的关系;以及第二区域(AR2),其用于登记第二信息。帧处理部当学习通过端口接收到的帧的发送源MAC地址时,首先,使用所述发送源MAC地址算出哈希值。接下来,在与所述哈希值对应的条目的第一区域(AR1)登记了与发送源MAC地址不同的MAC地址的情况下,将第二信息登记到第二区域(AR2)。
  • 一种数据流处理方法和装置-201810072594.5
  • 聂林川;姜凯;王子彤 - 济南浪潮高新科技投资发展有限公司
  • 2018-01-25 - 2018-08-14 - H04L12/743
  • 本发明提供了一种数据流处理方法和装置,包括:获取数据流,其中,所述数据流中包括至少一个报文;针对每一个所述报文,均执行:判断当前报文是否为IP报文,如果是,从所述当前报文中提取报文信息;按照预先设置的匹配阈值对所述报文信息进行复制,得到至少两个报文信息;确定各个所述报文信息的匹配顺序;根据各个所述报文信息的匹配顺序,依次对各个所述报文信息进行匹配;确定各个所述报文信息对应的匹配结果;对各个所述报文信息对应的匹配结果进行分析。本发明提供的方案能够减小匹配延迟。
  • 哈希映射平面的映射信息注册和查找方法、设备及系统-201210485369.7
  • 成黎;孙默 - 中兴通讯股份有限公司
  • 2012-11-26 - 2018-08-14 - H04L12/743
  • 本发明实施例提供一种哈希映射平面的映射信息注册和查找方法、设备及系统。该方法包括:各区域哈希映射平面分别设定本区域哈希映射平面的哈希位数m;某一区域哈希映射平面内的第一分布式哈希列表DHT节点如确定收到的映射注册报文中的EID前缀属于本区域哈希映射平面管理,则匹配该EID前缀的位数,执行相应的哈希操作;该第一DHT节点根据所述哈希操作的结果进行匹配,将映射注册报文发送给负责维护该映射注册报文中注册信息的第二DHT节点。本发明实施例中,根据EID前缀的m位进行哈希操作,并根据哈希操作的结果确定负责维护映射信息的DHT节点,从而使得DHT节点能够根据EID前缀注册和查找映射信息。
  • 基于BF_TCAM实现零范围扩张的高效范围匹配方法-201510888314.4
  • 刘航天;方开莎 - 刘航天;方开莎
  • 2015-12-07 - 2018-07-06 - H04L12/743
  • 本发明提出了一种基于BF_TCAM实现零范围扩张的高效范围匹配方法,解决了目前基于TCAM实现范围匹配方法存在的存储利用率低、功耗大的问题,主要应用包括报文分类中端口范围匹配,存储保护中访存地址的审查等。本发明高效性体现在:高效存储、高速查找及低功耗。其特点在于,SMLCP算法将范围匹配过程分解为前缀匹配和特征区间比对两个步骤,从而便于使用TCAM技术,使TCAM存储利用率达到100%。根据SMLCP算法设计了BF_TCAM模型,按前缀长度对范围进行分类处理,使用Bloom filter对关键字过滤,屏蔽无关项参与比较,从而大幅降低功耗。使用流水线技术减小电路关键路径长度,使查找操作在一个时钟周期内完成。
  • 流配置信息处理方法及装置-201611101930.1
  • 李振强 - 中国移动通信有限公司研究院;中国移动通信集团公司
  • 2016-12-02 - 2018-06-12 - H04L12/743
  • 本发明实施例公开了一种流配置信息处理方法及装置,所述方法包括:从配置服务器接收流配置信息;将至少部分所述流配置信息与转发表FIB存储到同一类存储器中。在本实施例中所述流配置信息不再局限存储在TACM等硬件中,而是可以与FIB存储到同一类存储器中,这一类存储器具有访问速度快、容量大的特点,从而一方面确保了数据包路由转发过程中与流配置信息匹配的速度,确保了数据包的传输速率,另一方面解决了TACM等存储硬件的存储空间不够及存储硬件成本高的问题。
  • 一种广播报文的传输方法和设备-201410618988.8
  • 马长伟 - 新华三技术有限公司
  • 2014-11-05 - 2018-04-06 - H04L12/743
  • 本发明公开了一种广播报文的传输方法和设备,该方法包括PE设备创建包括有自身与每个CB设备连接的端口的第一聚合组;所述PE设备在接收到广播报文时,对所述广播报文进行Hash,并基于Hash结果查询所述第一聚合组,以得到所述广播报文对应的出端口;所述PE设备通过所述出端口将所述广播报文发送给对应的CB设备。本发明实施例中,可以最大限度的利用链路带宽资源,并避免造成链路带宽资源的浪费。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top