[发明专利]一种基于语言模型的应用协议识别方法及系统

摘要

本发明涉及一种基于语言模型的应用协议识别方法及系统。该方法包括离线阶段和在线阶段；离线阶段包括：将混杂的原始网络数据报文划分为目标应用协议的数据报文集合和非目标应用协议的数据报文集合；构建目标应用协议的语言模型；提取已经标记类别的网络数据报文的协议关键字，作为网络数据报文的分类特征；对离线数据进行学习训练，获得目标应用协议的检测模型；在线阶段包括：根据离线阶段得到的语言模型提取待测网络数据报文的协议关键字作为其分类特征；对待测网络数据报文的协议类别属性进行判别，并输出判别结果。本发明能够充分挖掘网络消息报文中潜在的协议语义信息，在在线网络协议流量分类过程中具有高准确率和强鲁棒性。

主权项

1.一种基于语言模型的应用协议识别方法，其特征在于，包括离线阶段和在线阶段；所述离线阶段包括如下步骤：1)将混杂的原始网络数据报文划分为两类：一类是目标应用协议的数据报文集合，另一类是非目标应用协议的数据报文集合；2)以步骤1)得到的目标应用协议的数据报文集合作为输入，构建目标应用协议的语言模型；构建所述语言模型的方法是：2‑1)给定数据报文集合其中包含有M个数据报文，w_(m,i)代表数据报文m中的第i个字节，N_m是数据报文m中所考虑的字节总数；首先统计集合D中所有1到n阶的所有n‑gram元素的个数，一个n‑gram元素是包含有至少n个元素序列的n元素子序列；2‑2)用c(w|u’)代表上下文序列u’与字节w在集合D中共同出现的次数，u’与上下文序列u满足下面等式：u＝π(u’)，其中u’代表一个上下文序列，长度范围是1到n阶，u代表u’去掉第一字节以后的所有其他的字节元素，其长度范围为0到n‑1阶；对每个出现在上下文u后的字节w进行赋值操作：c(ku,w|u,w)＝c(w|u’)，其中c(ku,w|u,w)代表u和w共同出现时索引号为ku,w的w的元素数目，并将ku,w的数值加一；当u’的长度为n时，u的长度是n‑1，此时采用式子c(ku,w＝0|u,w)＝c(w|u)对c(ku,w|u,w)进行赋值操作；遍历集合D中所有的元组(u’,w)，并完成以上的赋值操作；2‑3)考虑所有阶数为n‑1的上下文序列u，对每个出现在u后面的字节w进行删除字节w操作，即REMOVEBYTE(u,w)操作；2‑4)对出现在u后面的字节w进行增加字节w操作，即ADDBYTE(u,w)操作；2‑5)对数据集合中的所有出现的元组(u’,w)都重复上述的增加字节和删除字节的采样操作，若达到Gibbs采样收敛条件L，则算法中止，返回最终的语言模型{S,Θ}，否则重复步骤2‑3)～步骤2‑4)；3)利用步骤2)得到的语言模型，提取已经标记类别的网络数据报文的协议关键字，该协议关键字作为网络数据报文的分类特征；4)利用步骤3)得到的网络数据报文的分类特征，采用有监督或无监督学习方法对离线数据进行学习训练，获得目标应用协议的检测模型；所述在线阶段包括如下步骤：5)根据离线阶段中步骤2)得到的语言模型，提取待测网络数据报文的协议关键字作为其分类特征；6)根据步骤5)得到的待测网络数据报文的分类特征和离线阶段中步骤4)得到的检测模型，对待测网络数据报文的协议类别属性进行判别，并输出判别结果。