[发明专利]一种基于CPU+FPGA的大数据输出方法及系统有效
| 申请号: | 202011552004.2 | 申请日: | 2020-12-24 |
| 公开(公告)号: | CN112559812B | 公开(公告)日: | 2022-03-08 |
| 发明(设计)人: | 桑成伟;郑波;杨军;武筠;罗永富;张利达;周友龙;杨阳 | 申请(专利权)人: | 中国船舶集团有限公司;武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) |
| 主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/903;G06F16/9035;G06F9/50 |
| 代理公司: | 武汉东喻专利代理事务所(普通合伙) 42224 | 代理人: | 张英 |
| 地址: | 200131 上*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 cpu fpga 数据 输出 方法 系统 | ||
1.一种基于CPU+FPGA的大数据输出方法,其特征在于,该方法包括:
利用CPU构建状态转移树、状态转移表和Bloom-Filter数据结构,具体地,
利用模式串样本集合构建状态转移树,利用状态转移树进行模式串样本的模式识别;
遍历模式串样本,提取模式串样本的当前状态、当前输入、下一状态、规则号等模式转换信息以构建状态转移表;
构造与模式串样本一一对应的Bloom-Filter数据结构,利用Bloom-Filter数据结构将模式串样本对应的状态转移表的地址进行压缩,将多位宽的状态转移表地址压缩至Bloom-Filter的比特向量;
CPU将Bloom-Filter的比特向量输出给FPGA;
利用FPGA接收Bloom-Filter的比特向量并进行缓存,利用FPGA构建模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机和状态转移表管理模块,具体地,
模式识别模块接收待编辑的业务数据流,依据接收时序依次对数据串进行模式识别,并将模式识别结果输出给报文分发模块;
报文分发模块依据模式识别结果和接收时序将数据串发送给对应的AC自动机;
状态转移表管理模块调用并解析缓存的Bloom-Filter的比特向量数据,以实现对多个AC自动机的设置,使得多个AC自动机依据对应的状态转移表的设置并行处理接收的数据串;FPGA依据待编辑的业务数据流的接收时序有序输出AC自动机处理后的业务数据流。
2.如权利要求1所述的一种基于CPU+FPGA的大数据输出方法,其中,所述业务数据流为依据时序发送的多个数据串集合,所述数据串按照一定的模式编辑得到。
3.如权利要求1所述的一种基于CPU+FPGA的大数据输出方法,其中,模式识别模块基于预设的数据协议和帧格式进行数据串帧头的初步判断,将符合用户设置的数据串以数据流的形式送入报文分发模块,将不符合的数据进行报警输出提示。
4.如权利要求1所述的一种基于CPU+FPGA的大数据输出方法,其中,AC自动机依据状态转移表的设置对接收的数据串依次进行模式转换和数据压缩,以实现数据的并行处理和AC-TRIE状态跳转。
5.如权利要求4所述的一种基于CPU+FPGA的大数据输出方法,其中,AC自动机先通过Bloom-Filter数据结构将数据串进行运算,AC自动机的Bloom-Filter数据结构与CPU设置的Bloom-Filter数据结构一致,以得到代表状态转移表索引地址的位置向量,通过状态转移表管理模块索引位置向量,读取SRAM中对应的地址的数据以进行数据比较,并根据数据中下一个状态的指示信号控制AC自动机的Bloom-Filter完成状态跳转。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国船舶集团有限公司;武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所),未经中国船舶集团有限公司;武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011552004.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





