[发明专利]一种基于AI的实时数据过滤方法、系统及存储介质

权利要求书

1.一种基于AI的实时数据过滤方法，其特征在于，包括以下步骤：

转发汇聚分流设备输出的全量数据采样报文；

接收全量数据采样报文，并对所述全量数据采样报文进行预处理；

对预处理后的数据流进行实时检测，识别流式数据采样信息，所述流式数据包括相关协议、应用及格式；

根据匹配结果初步识别协议结构特征，对相关数据流内容进行深度解析，识别内容资源，所述内容资源包括相关内容、关联关系、特定流量；

根据深度识别结果完成变更库计算、重复库计算、策略生成及输出；

生成不同维度的过滤规则，实时回传至汇聚分流设备进行数据过滤；

生成相应的过滤策略，输出到规则管理设备。

2.根据权利要求1所述的基于AI的实时数据过滤方法，其特征在于，所述接收全量数据采样报文，并对所述全量数据采样报文进行预处理，具体包括以下步骤：

数据接收：以10GE或100GE端口作为数据接收接口，获取汇聚分流设备转发的互联网信号；

隧道报文解析：实现隧道报文、封装报文的解析识别，包括链路层报文识别、VLAN报文识别、IP层报文识别、IPv4/IPv6识别；

解析报文分发：解析后数据进行二次负载均衡分发，提高设备内多核间的负载均衡度；

对原始流量数据进行预处理。

3.根据权利要求2所述的基于AI的实时数据过滤方法，其特征在于，所述对原始流量数据进行预处理，具体包括以下步骤：

对数据包进行解析，提取数据包的五元组：源ip地址、源端口、目的ip地址、目的端口、传输层协议，根据五元组将原始流量数据划分为会话；

在上一步得到的每个会话中随机生成两个新的ip地址和两个mac地址，将双方的ip地址和mac地址分别用新生成的随机地址来代替；

截取每个会话的前1024Bytes，如果不足1024Bytes，则在末尾补0至长度为1024Bytes；

根据会话中每一个字节对应的十进制值，将其转化为灰度为0～255的像素点，进而每个会话转化为一幅28×28的灰度图像。

4.根据权利要求3所述的基于AI的实时数据过滤方法，其特征在于，所述对预处理后的数据流进行实时检测，识别流式数据采样信息，所述流式数据包括相关协议、应用及格式，具体包括以下步骤：

根据协议特征进行协议识别，包括协议类别、协议通信元素、协议通信特征，以及深度解析负载特征；

识别结果标注：根据协议特征对数据流识别结果进行标注，为后续处理提供数据流协议应用类别归属参考。

5.根据权利要求4所述的基于AI的实时数据过滤方法，其特征在于，所述根据匹配结果初步识别协议结构特征，对相关数据流内容进行深度解析，识别内容资源，所述内容资源包括相关内容、关联关系、特定流量，具体包括：

对于标准协议按照其协议协议通信元素进行识别；

对于非标准协议需要根据其负载特征进行识别，各协议负载特征规则不相同；负载规则包括：应用大类名称、大类编号、负载特征、应用名称、应用ID、特征长度、特征起始位置、特征结束位置、标志位、保留字段。

6.根据权利要求5所述的基于AI的实时数据过滤方法，其特征在于，所述根据深度识别结果完成变更库计算、重复库计算、策略生成及输出，具体包括以下步骤：

利用卷积神经网络CNN进行流量识别；

根据识别结果与原有特征集合进行比对，做存在新增过滤规则特征则将规则集合加入变更库中，并进行标记，作为后续识别待更新过滤规则集合；

重复库中存放的是重复数据判断特征的集合，根据系统中处理数据的重复数据归类特征进行累计。

7.根据权利要求6所述的基于AI的实时数据过滤方法，其特征在于，所述过滤规则包括基于协议、应用、安全、五元组的组合规则。