[发明专利]一种基于聚合熵的网络流量分类方法及分类系统

说明书

本发明提出一种基于聚合熵的网络流量分类方法，该方法包括：步骤1、捕获网络出口处流量，经过数据清洗后使用五元组信息将其分割为不同流；步骤2、遍历每条流中数据包的包头部分与数据部分字节流，分别计算每个大小‑端口号二元组和聚合字节出现的次数；步骤3、结合二元组计数矩阵和字符计数器计算流的二元属性熵和字符熵，融合二元属性熵和字符熵为聚合熵；步骤4、使用聚合熵结合随机性检测特征，创建特征向量训练机器学习分类模型，对新收集的未标记流进行识别。一种基于聚合熵的网络流量分类系统，该系统包括流量获取子系统，流量簇分类子系统，聚合熵提取子系统，识别子系统。本发明能有效和实时区分数据包是否加密。

技术领域

本发明涉及一种基于聚合熵的网络流量分类方法及分类系统，属于网络安全技术领域。

背景技术

随着现代网络通信技术的快速发展以及新型协议的不断出现，网络流量变得愈加复杂和多样，大多数通信使用强加密算法来保证安全与隐私，但依然存在部分通信使用明文来传递敏感信息，这可能会受到中间人攻击、虚假数据注入等攻击，导致数据被修改和泄露，此外，攻击者在窃取内部数据时，为了掩盖他的行为，可能会采用压缩的方式进行数据转移，因为加密连接的建立需要双方服务器的握手确认。

因此，有效分类网络中的加密和未加密流量是非常有必要的；加密分类是指使用分类模型对收集到的网络流量进行分类，分类的结果是某种应用程序类型或应用层协议，高效的网络流量分类是实现网络管理，提供适当的服务质量(QoS)以及异常检测的重要环节；传统的流量分类技术，如基于有效载荷的技术(即深度包检测DPI)，通过对比数据包数据部分中包含的信息与数据库中已有的签名来对流量进行分类，然而随着加密协议如TLS/SSL的广泛使用，TLS/SSL通过证书授权中心CA交换通信双方数字证书获取双方公钥，使用非对称加密算法交换用于对称加密的密钥，使用对称加密秘钥加密正常网络通信，使得DPI技术无法处理加密流量；但加密的同时带来了数据包的伪随机性，故相关研究通过分析数据包数据部分的熵值高低判断流量是否被加密，进而分析加密流量的具体类型；然而，数据包熵值高并不总是意味着加密，如压缩文件由于高度结构化会导致熵值偏高，明文经过十六进制编码后原始字符串长度变长增加了随机性也会导致熵值变高，因此单独通过数据包数据部分熵值无法有效判断出流量是否被加密，需要一个更加有效的综合判断数据包包头以及数据部分熵值的网络流量分类方法。

发明内容

本发明提出的是一种基于聚合熵的网络流量分类方法及分类系统，其目的旨在解决现有网络流量分类方法无法实时处理和有效分类流量数据包的问题。

本发明的技术解决方案：一种基于聚合熵的网络流量分类方法，该方法包括：

步骤1、捕获网络出口处流量，经过数据清洗后使用五元组信息将其分割为不同流；

步骤2、遍历每条流中数据包的包头部分与数据部分字节流，分别计算每个大小-端口号二元组和聚合字节出现的次数；

步骤3、结合二元组计数矩阵和字符计数器计算流的二元属性熵和字符熵，融合二元属性熵和字符熵为聚合熵；

步骤4、使用聚合熵结合随机性检测特征，创建特征向量训练机器学习分类模型，对新收集的未标记流进行识别。

进一步地，所述步骤1中捕获网络出口处流量具体为采集网络出口区域产生的流量；

所述步骤1中数据清洗，具体为：去除所捕获网络出口处流量中的问题数据包；

所述步骤1中使用五元组信息将其分割为不同流，具体为：使用五元组信息将经过数据清洗后的所捕获网络出口处流量分割为不同流；

所述步骤2中分别计算每个大小-端口号二元组和聚合字节出现的次数，具体为：分别遍历每条流中数据包的包头部分与数据部分字节流，计算包头部分数据包大小-端口号二元组属性值出现的次数，结合多编码匹配算法计算数据部分字节流中每个聚合字节出现的次数；