[发明专利]基于Storm的马尔可夫等价类模型分布式学习方法

摘要

本发明公开了基于Storm的马尔可夫等价类模型分布式学习方法。包括以下步骤：步骤1，使用Storm框架创建集群的计算节点；步骤2，初始化节点创建初始马尔可夫等价类状态，并生成状态图元组；步骤3，搜索节点计算当前状态图元组的所有合法修改操作符，并应用于当前状态图元组上；步骤4，评分节点使用最小描述长度准则计算模型对数据集的拟合度评分；步骤5，输出节点判定状态图元组是否达到局部最优，最终得到最匹配网络流量数据的马尔可夫等价类模型。本发明在入侵检测系统的分类器模型训练问题上，充分利用了分布式存储给计算过程带来的加速优势，提高了入侵检测系统对网络流量数据的实时处理能力。

主权项

一种基于Storm的马尔可夫等价类模型分布式学习方法，其特征在于，包括以下步骤：步骤1、将马尔可夫等价类模型的训练数据集上传至分布式文件系统HDFS中，通过Storm平台的Topology框架对训练数据集进行学习，创建四种云计算计算节点，分别是初始化节点node0、搜索节点node1、评分节点node2和输出节点node3；步骤2、初始化节点node0创建初始马尔可夫等价类状态εi，使用初始马尔可夫等价类状态生成发送给nodek的状态图元组其中k为云计算节点编号，且0≤k≤3，并发送至任一搜索节点node1以启动搜索过程，向集群中唯一的输出节点发送状态图元组其中是包含了搜索空间内第i个马尔可夫等价类的状态图元组，是在搜索空间内的第j个相邻状态图元组；步骤3、搜索节点node1根据从初始化节点node0和评分节点node2收到的当前状态图元组和前驱状态图元组为当前状态图元组生成标识符，将当前状态图元组发送给输出节点node3，确定当前状态图元组的所有可能的合法修改操作符，并将应用操作符之后产生的状态图元组发送给任一评分节点node2，其中是在搜索空间内的唯一的直接前驱状态图元组；步骤4、评分节点node2将从搜索节点node1收到的当前状态图元组分布式地存储在各评分节点中，并计算运行实例未存储过的当前状态图元组的评分，将带有评分值的状态图元组发送至搜索节点；步骤5、输出节点node3根据从初始化节点node0收到的终止条件来判断带有评分值的状态图元组是否达到了局部最优，如果达到了局部最优，则输出该状态图元组中对应的马尔可夫等价类模型，否则不做任何操作。