[发明专利]一种逐级并发缓存优化效能的智能网络感知方法

权利要求书

1.一种逐级并发缓存优化效能的智能网络感知方法，其特征在于，具体包括：在SoC为基础的嵌入式计算平台上，将单个网卡核和单个CPU核配对，形成独立分区，每个分区中通过集成内存分别构建若干大容量片上存储资源SPM(Scratch Pad Memory)块，直接使用内存地址进行访问；由此构成了家庭互联网通信网关设备；

然后，将家庭互联网通信网关设备与家中的各上网设备分别连接，每个网卡并行采集不同上网设备的流量，并基于数据平面开发套件DPDK(Data Plane Development Kit)技术进行用户态多线程并发处理；

具体过程为：

首先，每个网卡由一个分发主进程收包，将收包按5元组排序后，对字符串hash计算构建唯一并发UFID，计算公式如下：

UFID＝shash(sort(srcip,srcport,dstip,dstport),protocol)

其中srcip,srcport,dstip,dstport分别为源ip地址、源端口、目的ip和目的端口；通过sort处理保证收发双向数据包，这四个字段拼接成为同一顺序的字符串，追加protocol协议类型字段后，使用shash算法计算字符串hash id；

然后，根据并发通道数C，相同流的双向数据包的字符串都进行hash计算后分别归属到对应的Qi队列中存储，通过队列分发给处理子进程；

处理后的流量包根据IP协议检测和路由配置，并行分发到三通道子系统进行检测；并将三通道子系统输出的各个检测结果进行迭代融合；

所述的三通道子系统包括应用层异常规则检测子系统、网络层流量特征和异常模型检测子系统、PCAP和取证文件检测子系统；

三通道子系统并行检测的具体步骤如下：

步骤301、各个子进程对各个流量包完成IP协议数据字段提取、过滤和缓存后，按IP隧道方式分发到应用层异常规则检测子系统，提取定义规则的元数据和应用层协议元数据，通过计算逻辑表达式进行规则匹配式检测；

步骤302、提取的应用层协议元数据通过分布式消息队列转发到机器学习模型中，利用网络层流量特征和异常模型检测子系统进行准实时深度检测，发现语义和相似度模糊化的用户行为标签；

步骤303、同时，将提取的元数据中的IP协议数据字段，直接存储到时序数据库，进行流加工和多种指标统计，并将统计的指标通过分布式消息队列转发到机器学习模型，利用网络层流量特征和异常模型检测子系统进行长周期的网络行为异常检测和分类检测，发现时序类统计指标表征的未知异常；

步骤304、通过本地创建的虚拟网卡，备份PCAP文件，根据订阅规则扫描PCAP文件并取证网络传输的资源文件，通过分布式消息队列转发到PCAP和取证文件检测子系统进行病毒检测；

最后，定时查询完成融合的检测结果数据集，处理PCAP和取证文件；将每日的流量统计指标、正常流量采样和检测结果批量转存大数据平台，分类存储，按定义的生命周期逐步清理不同安全级别事件数据。

2.如权利要求1所述的一种逐级并发缓存优化效能的智能网络感知方法，其特征在于，所述的大容量片上存储资源SPM块内存储2M的数据，包括网卡的数据和CPU处理的数据；若干个SPM块构建出高速缓存分区，适配不同类型网卡包处理速率要求；通过内存地址直接访问每个SPM块上存储的数据，通过起始地址和负荷数据长度，进行各块之间的连续流式访问，无需通过数据总线传递。

3.如权利要求1所述的一种逐级并发缓存优化效能的智能网络感知方法，其特征在于，所述的步骤301中，元数据包括网络tcp/ip包五元组、各协议字段、上行字节数和下行字节数；

应用层协议元数据包括http协议的URL、请求码、响应码、提交的数据和响应的数据；

规则匹配式检测为了发现具备明显网络流量和协议字段特征的异常行为，实时告警。

4.如权利要求1所述的一种逐级并发缓存优化效能的智能网络感知方法，其特征在于，所述的步骤302具体为：针对在应用层携带和触发恶意行为执行的网络流量，建立特征字段扫描、状态机推理、机器学习模型分类、异常语义和异常逻辑流程多个分析模型，从多个维度标签网络流量的应用行为类型。