[发明专利]一种应用层协议特征的提取方法

说明书

技术领域

本发明属于互联网技术领域，具体地说，是涉及一种采用数据挖掘的思想和方法提取出 应用层的协议特征的方法。

背景技术

随着互联网的逐步发展，网上用户和业务流量在不断增长，除传统数据业务外，P2P、 网络游戏、IPTV等新兴业务占用了互联网的大部分带宽，一方面使得运营商的服务质量出现 问题，另一方面也使得运营商的基础网络建设陷入了“拥塞-扩容-再拥塞”的非正常局面， 盈利能力相应降低。

在同一网络内，如果某些用户严重占用带宽进行网游、BT下载等活动，就会影响别人 对网络资源的正常使用，或者对他人的工作造成影响。毕竟现在互联网的发展，已经使很多 工作都要求在网络上交互和完成。

应用层软件造成的带宽拥塞问题已经引起了中小型企业，多分支机构企业和网络运营商 的注意，而他们就是促使网络带宽产品不断发展的最大推动者。随着市场的不断发展，网络 带宽控制产品具有极大的市场潜力，而且市场份额也越来越大。

目前，国内的主要带宽管理和流量控制产品包括Panabit、P2P终结者、聚生网管等。 但是，这些产品只从网络流量控制方面给用户提供流量控制方面的应用。当然普通用户也不 会关心其内部的识别原理和方法，更不用说应用层的协议特征了。但另一方面，一些应用和 分析应用层协议的企业和公司，提出了分析应用层协议和获取相应协议特征的需求，而现有 的网络流量控制产品只提供了流量控制的功能，并没有提供应用层协议提取和分析功能的方 法和接口。而且如果聘请专门人员手动分析应用层协议特征，将会影响工作效率和进度，并 给企业和公司带来人力资源的负担。

当前，最流行的流量监测技术为DPI(Deep Packet Inspection)深度包检测技术，相 对于传统的基于端口、协议类型的流量检测技术，DPI增加了应用层分析功能，是一种基于 应用层的流量检测和控制技术，它通过深入读取IP包载荷的内容来对OSI7层网络模型中的 应用层信息进行重组，从而得到整个应用层协议的内容，然后按照系统定义的管理策略对流 量进行整形操作，通过识别各种应用层的内容达到高效地识别出网络上的各种应用协议的目 的。

数据挖掘技术作为一种数据信息处理的关键技术，其主要特点是对数据库中的海量数据 进行抽取、转换、分析和其他模型化处理，从中提取关键性和决策性的数据。将数据挖掘技 术运用到网络流量分析，在极度膨胀地网络带宽需求中，根据用户的网络带宽使用情况、实 时地对带宽进行分配，从占据带宽重要比重的应用层软件中提取和挖掘出应用层协议的重要 识别特征，以分析出影响网络带宽的软件和用户，具有重大的意义。

很多学者从数据挖掘的角度对DPI技术进行了理论和科学实验研究。但是，随着网络流 量分析和特征提取工程应用需求的增加，对理论研究转换成实际工程应用提出了市场需求。

发明内容

本发明的目的在于提供一种适于实际工程应用的应用层协议特征提取方法，从数据挖掘 角度出发对协议特征的提取过程进行完善设计，从而加快了协议特征的提取速度，为分析应 用层协议提供了依据。

为解决上述技术问题，本发明采用以下技术方案予以实现：

一种应用层协议特征的提取方法，包括以下步骤：

(1)捕获待监听的流量数据包；

(2)提取流量数据包中的频繁1项集，所述频繁1项集的长度设定为2的整数倍；

(3)采用如下合并过程将频繁k项集合并成候选k+1项集，k≥1：

b₁＝Lines[x]+Lines[y].substring(Lines[y].length()-1，Lines[y].length())；

b₂＝Lines[y]+Lines[x].substring(Lines[x].length()-1，Lines[x].length())；

其中，Lines[x]、Lines[y]分别为第x个和第y个频繁k项集，频繁k项集的长度为 LEN；substring(p，q)表示提取从序列的第p位开始到第q位的子序列，b₁和b₂为得到的 候选k+1项集，其长度为LEN+2；