[发明专利]一种基于机器学习的数据流分类方法及系统

说明书

本发明公开了一种基于机器学习的数据流分类方法，包括：步骤1)捕获并根据输入规则过滤网络上的数据流，获取符合条件的数据包；步骤2)根据数据包的五元组信息建立数据流，结合其反向的数据流建立应用流，提取指定的应用流特征信息，记录在应用流流表中；步骤3)检测应用流是否完成交互过程；如果已完成，则将应用流特征信息封装成特征向量，调用机器学习分类器进行分类得到标签L_a，进入步骤4)，否则，将所述应用流的分类结果标识为“未知应用”；步骤4)查找当前应用流所属的关联信息表，结合表内历史应用流的机器学习分类信息决定当前应用流的最终分类结果。本发明的方法能够有效提升当前数据流的分类准确性。

技术领域

本发明涉及计算机网络技术领域，特别涉及一种基于机器学习的数据流分类方法及系统。

背景技术

网络数据流分类是网络安全、服务质量控制等网络管理工作的重要环节。互联网中应用交互的所有数据最终在网络上以数据字节流的形式进行传输，通过将网络数据流与其高层应用进行映射，可以实现对流量的细粒度调控和审查。传统的数据流分类方式有基于著名端口和基于数据包载荷的深度分析两种形式。随着应用类型的日益复杂，著名端口不再“著名”，导致基于端口的分类方法准确性下降；另一方面，基于深度包检测的方法虽然准确性较高，但存在识别性能和隐私权限方面的限制。与基于深度包检测和基于著名端口的识别算法不同，基于机器学习的方法可以根据数据流的统计特征来有效识别产生数据流的高层应用。机器学习算法应用于数据流分类的基础是不同的应用的交互模式不同，而这些模式反映在数据流的诸多特征之中，如交互中数据包的大小，数据包交互的间隔，交互的轮数等等。

目前，已有较多的机器学习模型在数据流分类的场景下发挥了作用。然而，从提升数据里分类准确性的角度出发，想要进一步提升分类的准确性，就要深入挖掘隐藏在数据流中的各种信息，单纯的引入新的算法模型是不足够的。因此，挖掘并且有效利用待分类数据流中的信息，以提升基于机器学习分类器所得结果的准确性，有着切实的研究意义。

发明内容

本发明目的在于克服目前基于机器学习的数据分流方法存在的上述缺陷，通过挖掘待分类数据流之间的关联信息，提出了一种基于机器学习的数据流分类方法及系统，能够有效提升基于机器学习的数据流分类结果的准确性，以适应实时、鲁棒的数据流分类需求。

为了实现上述目的，本发明提出了一种基于机器学习的数据流分类方法，所述方法包括：

步骤1)捕获并根据输入规则过滤网络上的数据流，获取符合条件的数据包；

步骤2)根据数据包的五元组信息建立数据流，结合其反向的数据流建立应用流，提取指定的应用流特征信息，记录在应用流流表中；

步骤3)检测应用流是否完成交互过程；如果已完成，则将应用流特征信息封装成特征向量，调用机器学习分类器进行分类得到标签L_a，进入步骤4)，否则，将所述应用流的分类结果标识为“未知应用”；

步骤4)查找当前应用流所属的关联信息表，结合表内历史应用流的机器学习分类信息决定当前应用流的最终分类结果。

作为上述方法的一种改进，所述输入规则为：端口、IP地址、协议字段是否在预设值域内。

作为上述方法的一种改进，所述步骤2)具体包括：

步骤2-1)根据数据包的五元组信息：源IP，源端口，目的IP，目的端口和协议，通过哈希算法将数据包映射到对应的数据流；

步骤2-2)将方向相反的两条数据流构成应用流；

步骤2-3)提取应用流的特征信息，所述特征信息为用于机器学习分类器的各种特征字段，包括：应用流的交互时间、每一轮交互的数据包大小及间隔时间、交互的数据包总个数；

步骤2-4)将应用流及其特征信息记录在应用流流表中。