[发明专利]分布式场景下新类型加密网络流量包的挖掘和利用方法

权利要求书

1.一种分布式场景下新类型加密网络流量包的挖掘和利用方法，其特征在于，包括以下步骤：

(1)准备阶段：多个网络流量监测节点(简称为“节点”)分别对各自负责的不同网络区域的网络流量进行监测；各个节点分别独立地收集了一定数量的已经进行类别标注的网络流量包样本(简称为“已标注样本”)；多个网络流量监测节点相互协作，训练出一个新类型网络流量包检测模型；所述的新类型网络流量包是指还没有任何该类型的网络流量包样本被进行类别标注；

(2)新类型流量包检测：各个节点分别从各自新接收到的网络流量包中检测出新类型网络流量包；新类型流量包的挖掘和利用以周期性性的形式进行，每一轮挖掘和利用操作都以当前周期内检测出来的所有新类型流量包为基础进行；

(3)子类别发现：各个节点独立对本轮(当前周期时间内)检测出来的新类型流量包进行本地聚类操作；各个节点独立对各自聚类结果各个子类别样本分配标签；本地聚类结果中，相同子类别的新类型流量包样本，将被分配相同的本地标签；不同本地子类别的标签互不相同；

(4)本地子类别特征向量提取：各个节点选择一个全局统一的基准；各个节点以该全局统一的基准为基础，分别为各个本地子类别提取全局一致的类别特征向量；各个节点将本地子类别的特征向量，连同它们所对应的本地子类别标签，一起上传到汇聚节点；

(5)全局一致性类别标注：汇聚节点以收集来自不同节点的子类别特征向量和本地标签信息；汇聚节点对收集到的所有子类别特征向量为基础，进行全局性聚类；汇聚节点为全局性聚类结果中的各个子类别分配全局性标签；汇聚节点为各个节点建立起本地标签和全局标签的映射方案，并将该映射方案分别返回给相应的节点；各个节点利用接收到的映射方案，为各个子类别样本分配全局性标签；

(6)模型更新：多个网络流量监测节点，对模型进行扩展，并利用各自收集的如第(5)步所述的已经分配了全局标签的样本，采用协同合作的方式，对扩展后的模型进行训练，直到模型收敛或者达到一个预先设定的误差阈值。

2.根据权利要求1所述的分布式场景下新类型流量包的挖掘和利用方法，其特征在于，所述步骤(4)具体步骤如下：

(1)全局一致基准模型设计：

全局一致的基准模型定义为：y＝f_μ(x)＝f_e(f_θ(x))＝argmax(softmax(f_θ(x)))；子模型f_θ为加密网络流量包特征提取模型；各个节点使用全局最优的模型参数θ_*对子模型f_θ进行初始化，子模型f_e中不包含待优化的参数，不需要进行初始化处理；

(2)子类别增量模型的训练：各个节点为各自的不同本地子类别样本，分别独立训练一个增量模型；用于增量训练的优化方程为：

(3)基于增量模型的子类别特征提取：各个节点分别从各个子类别模型参数中，按照相同的规则选择一个参数子集，作为该子类别的特征向量；各个节点将各个本地子类别特征向量和本地子类别标签一起上传到汇聚节点；

(4)全局一致的子类别标签分配：汇聚节点以收集到的子类别特征向量为基础进行所有本地子类别进行全局性聚类，并根据全局性聚类结果为每个全局性子类别分配不同的全局性标签；汇聚节点根据收集到子类别的本地标签和重新分配的全局标签，为各个节点的本地子类别建立本地子类别标签和全局性标签的映射方案，并将该映射关系反馈给对应的节点；各个节点根据接收到的映射方案，将各自样本的本地类别标签修改成全局性类别标签。

3.根据权利要求1所述的分布式场景下新类型流量包的挖掘和利用方法，其特征在于，所述步骤(6)具体步骤如下：

(1)模型的扩展：根据新增类别的总数和新增样本的总数，对模型进行扩展；当新增加的类别数量和样本数量较少时，增加模型的输出层神经元的数量；当新增加的类别数量和样本数量非常多时，还需要增加中间层进行层次数量或各层次神经元的数量；

(2)模型初始化：对经过模型的扩展的模型中的原有基础模型参数，使用现有的最优特征参数进行初始化；对于模型扩展部分的各个神经元参数，使用随机数进行初始化；

(3)优化方程：优化方程定义为其中f_θ’是经过扩展的模型；

(4)模型训练：多个网络流量监测节点，利用各自收集的已经分配了全局标签的样本，采用协同合作的方式，对扩展后的模型进行训练，直到模型收敛或者达到一个预先设定的误差阈值。