[发明专利]基于层次化特征分析的TCP、UDP流量在线识别方法和装置

说明书

技术领域

本发明涉及计算机网络与通信技术领域，尤其涉及一种流量识别的方法和装置。

背景技术

随着Internet重要性的日益提高和网络结构的日益复杂，网络用户迅猛增加，各种新的网络应用、服务、标准和协议层出不迭。对网络中的流量进行准确的识别是众多的网络活动的基础，如安全监测、记账，保证传送业务的QoS、给运营者从长远角度提供有用的预测。同时，网络管理者只有随时了解当前网络的运行状态，掌握网络中各种流量的情况，才能对网络进行适度的控制，这都涉及到流量识别的技术。因此，选择合适的方法来研究应用层流量显得尤为重要。

目前国内外使用的流量识别方法主要包括基于传输层端口、应用层协议有效载荷和基于流量统计特征识别。基于传输层端口号的识别方法，该方法根据数据包首部的源端口号或目的端口号识别常见的流量，如HTTP，SMTP，TELENT等，该方法原理简单，容易实现。基于应用层签名的识别方法也叫做深度包检测DPI方法，所谓“深度”是和普通的报文分析层次相比较而言，普通报文检测仅分析IP包的五元组信息即{源地址目的地址，源端口，目的端口，协议类型}，而DPI除了对前面的层次进行分析外，还增加了应用层协议有效载荷分析，从而识别各种应用业务类型。基于流量统计特征的识别方法基于一系列流量的统计行为特征，建立流量特征模型，通过分析会活连接流的包长、连接速率、传输字节量、包与包之间的间隔等信息来与流量模型对比，从而实现对应用业务类型的鉴别。与基于应用层签名的流量识别方法相比，基于流量统计特征的流量识别方法有以下优点：(1)易于检测加密的流量；(2)易于检测特征有效载荷未知的应用层流量；适用于对安全和网络性能要求较高的网络。而且由于基于流量特征的流量识别方法一般都只需要对所关注的流量特征的统计信息，不需要像基于签名特征的流量检测法那样对每个包进行净荷匹配，所以效率较高，基于DPI的带宽管理系统的处理能力达到线速1Gbps左右，而基于流量统计特征识别的系统则可以达到线速10Gbps的流量监控能力，完全可以满足运营商需求，不会成为网络的瓶颈；对硬件的要求相对较低，成本较低。但基于流量特征的检测方法也并非十全十美，它的缺点在于：(1)识别方法较为复杂；(2)识别精度不如基于应用层签名流量识别方法，并且很难对应用层流量进行准确地实时的分类。由于DPI采用逐包分析、模式匹配技术，因此，可以对流量中的具体应用类型和协议做到比较准确的识别，而基于流量统计特征的方法仅对流量行为分析，因此只能对应用类型进行笼统分类。

目前，由于端口号的滥用，尤其是如P2P、被动FTP等类型业务采用动态端口号，使得单纯基于传输层端口号进行业务识别的方法失去了有效性。而针对载荷特征的方法，由于涉及较为复杂的操作，不适用于高速骨干网的流量识别。同时采用机器学习方法进行流量识别的方法，由于其计算复杂性和准确率等问题，不适于网络设备的硬件实现，因而限制了其在高速骨干网的应用。

发明内容

本发明的目的是提供一种基于层次化特征分析的TCP、UDP流量在线识别方法和装置。通过提取TCP、UDP流中的端口号与特征字段与库中的存储进行匹配同时结合机器学习方法，利用数据流的统计信息，提取一个数据流中头部若干包的包长、修正的包间隔时间等参数，训练贝叶斯决策树模型，利用得到的模型对前两个阶段尚未识别的业务进行识别。利用层次化的结构，输出结果为各部分结果的互补。本发明提供的方法包括以下步骤：

步骤1，前期真实流量数据的获取及梳理：采集多个网络真实流量数据集，这些数据集在不同时间采自于待部署网络。通过查找数据流的起始数据包，以及{源地址、目的地址、源端口、目的端口、传输层协议类型}五元组将所得流量数据集分离为不同的TCP、UDP流，使得流量数据集就转换为TCP流与UDP流的集合。

步骤2，依端口号划分数据流：将步骤1中获得的TCP与UDP流分别按照事先划分的业务类型的常用端口号进行划分，对于端口号不易确定的常见业务类型以及P2P型业务统一划分到未知端口区。这样TCP与UDP数据流依照端口号划分成了数据流块。