[发明专利]一种嵌套的应用层协议的状态机提取系统及其提取方法

说明书

本发明涉及一种嵌套的应用层协议的状态机提取系统，包括数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块、模型训练模块、状态译码模块。

技术领域

本发明涉及网络安全技术领域，更具体地，涉及一种嵌套的应用层协议的状态机提取系统及其提取方法。

背景技术

移动互联网在最近十年中飞速发展，智能手机已经成为人们访问互联网的主要工具。与此同时，对智能手机应用程序的流量进行深入的分析也日趋重要。智能手机众多APP访问网络的方式与个人电脑上的应用程序有显著差别。它们将自身的业务逻辑或其私有的应用层协议嵌套在HTTP之上，且大部分使用JSON、HTML、XML数据格式。这样做的原因主要有以下几点：1）HTTP简单易扩展；2）IOS和Android两大手机操作系统都提供了HTTP进行网络通信的库函数，且网络上有众多协助HTTP开发的开源项目；3）相比于直接在TCP/UDP上进行网络开发，在HTTP上进行网络开发可以免去许多对底层网络细节的管理；4）出于网络安全的考虑，大多数防火墙会关闭不常用的传输层端口，保留HTTP所使用的TCP 80端口，使用HTTP进行网络开发可以保证APP在不同的网络环境中都可以顺利连接互联网。这些嵌套在HTTP之上的APP应用层协议（下文简称APP协议）给流量分析及安全检测领域带来了新的挑战。移动互联网中的流量管理及安全防护有多重目标：实现对不同APP进行有差别的流量控制，对不同用户设定个性化的流量策略，检测隐私信息泄露和间谍软件，检测恶意软件的传播，检测僵尸网络等病毒的爆发，检测网络入侵行为等。为了实现这些目标，网络流量管理和安全设备不仅需要识别和区别不同APP所产生的流量，而且需要深入了解不同APP的流量的行为和语义。面对如此海量的APP，网络流量管理和安全设备迫切需要一种自动化的流量分析方法。另一方面，移动互联网中应用层协议嵌套的情形使得流量分析的难度急剧增加。现有的网络安全设备无法识别APP协议。如果不能了解流量的行为和语义，那么精确的流量识别和控制就无从谈起。

发明内容

本发明为解决现有技术的网络安全设备无法对APP协议进行识别而导致的无法对流量的行为和语义进行了解的技术缺陷，提供了一种嵌套的应用层协议的状态机提取系统

为实现上述目的，本发明采取的技术方案为：

一种嵌套的应用层协议的状态机提取系统，包括数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块、模型训练模块、状态译码模块；

其中数据采集和输入模块用于采集训练集的嵌套的应用层协议的数据流，得到具体的数据文件并将得到的数据文件传输至数据预处理模块；

数据预处理模块用于接收数据文件并对数据文件进行HTTP数据包的提取处理，然后将提取的HTTP数据包按照四元组（源IP地址、源端口、目的IP地址、目的端口）的形式组合成会话；数据预处理模块将形成的会话列表传输至关键词提取模块；

关键词提取模块用于接收数据预处理模块传输的会话列表，然后从会话列表中提取HTTP数据包的关键词；提取得到关键词后，保留会话列表中HTTP数据包的关键词，删除HTTP数据包中的非关键词字节；

消息聚类模块用于采用X-Means算法对关键词提取模块处理后的会话列表进行聚类，得到具体的参数传输至模型训练模块；

模型训练模块用于接收聚类模块传输的参数对模型进行初始化及训练；

测试集中嵌套应用层协议的数据流依次经过数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块的处理后得到具体的参数传输至训练好的模型，模型输出的观测值序列传输至状态译码模块，状态译码模块进行译码得到其对应的状态序列。

优选地，数据采集和输入模块采用wireshark软件进行嵌套的应用层协议的数据流的采集，得到pcap文件。