[发明专利]一种基于主题模型的动态自更新网络流量分类方法

权利要求书

1.一种基于主题模型的动态自更新网络流量分类方法，其特征在于，包括：

1)分类模型初始化：初始时刻，利用事先标记好协议类别的数据包集作为初始化数据集，对分类模型进行初始化，以获得时刻1的分类模型；

2)数据包分类：在t时刻，利用时刻t的分类模型对此时收到的待分类数据包进行分类，并输出此时的待分类数据包的协议类别以及协议分布信息；

3)分类模型训练更新：利用t时刻输出的已知协议类别的数据包构成训练集，利用t、t-1、…、t-(L-1)共L个历史时刻输出的历史协议分布信息作为主题先验分布，训练时刻t+1的分类模型；t＝1,2,3,...，L＝1,2,...,δ，δ值根据分类精确度要求及模型训练时长要求预先设置；

其中，某一时刻分类模型输出的所述协议分布信息包括该时刻与前一时刻期间不同协议类别的数据包分布比例。

2.如权利要求1所述的动态自更新网络流量分类方法，其特征在于，所述分类模型包括：数据包标准化模块、聚类模块、标记模块和判决模块，所述聚类模块是利用历史协议分布信息作为主题先验分布的动态聚类主题模型进行构建；

初始化过程包括：通过数据包标准化模块将初始化数据集中的每个数据包转化为对应的类文本数据序列；通过所述聚类模块对所有类文本数据序列进行聚类；对于每一个聚类，通过所述标记模块将该聚类下数据包数量最多的协议类别分配给该聚类，作为该聚类的标签进行标记；利用带标签的聚类生成所述判决模块的判决规则；

分类模型的训练更新过程包括：通过数据包标准化模块将训练集中的每个数据包转化为对应的类文本数据序列；通过所述聚类模块，根据前L个历史时刻输出的历史协议分布信息，对训练集中所有数据包的类文本数据序列进行聚类；对于每一个聚类，通过所述标记模块将该聚类下数据包数量最多的协议类别作为该聚类的标签进行标记；利用带标签的聚类生成判决模块的判决规则；

数据包分类过程包括：通过数据包标准化模块将待分类数据包转化为类文本数据序列；对于每一个类文本数据序列，通过判决模块计算该类文本数据序列属于每个聚类的概率，概率最大的聚类所带的标签即为该类文本数据序列对应的数据包所属的协议类别。

3.如权利要求2所述的动态自更新网络流量分类方法，其特征在于，还包括：对聚类进行标记时，计算每个聚类的置信度，并舍弃置信度低于第一预设值的聚类。

4.如权利要求3所述的动态自更新网络流量分类方法，其特征在于，聚类的置信度计算公式为：

其中，C表示当前聚类的置信度，P_max表示当前聚类中被分配的协议类别下数据包的数量，P_total表示当前聚类中数据包总数。

5.如权利要求2所述的动态自更新网络流量分类方法，其特征在于，将数据包转化为类文本数据序列的步骤包括：

去除数据包的链路层、网络层及传输层的包头信息；

对二进制的数据包应用层内容进行N-gram转化，得到数据包对应的类文本数据序列。

6.如权利要求5所述的动态自更新网络流量分类方法，其特征在于，所述聚类模块对t时刻数据包的类文本数据序列进行聚类的步骤包括：

(1)给t时刻的每个数据包随机分配一个主题，并默认每个数据包的所有N-gram字段均属于为该数据包分配的主题，从而得到初始化的主题多项式分布；

(2)采用基于主题先验分布的吉布斯采样，从初始化的主题多项式分布开始进行采样迭代，迭代预定次数或者聚类质量满足预设的卡方检验条件时，所得到的主题多项式分布即为目标后验分布；

(3)根据所述目标后验分布，得到t时刻的数据包聚类。