[发明专利]基于Storm的马尔可夫等价类模型分布式学习方法

说明书

本发明公开了基于Storm的马尔可夫等价类模型分布式学习方法。包括以下步骤：步骤1，使用Storm框架创建集群的计算节点；步骤2，初始化节点创建初始马尔可夫等价类状态，并生成状态图元组；步骤3，搜索节点计算当前状态图元组的所有合法修改操作符，并应用于当前状态图元组上；步骤4，评分节点使用最小描述长度准则计算模型对数据集的拟合度评分；步骤5，输出节点判定状态图元组是否达到局部最优，最终得到最匹配网络流量数据的马尔可夫等价类模型。本发明在入侵检测系统的分类器模型训练问题上，充分利用了分布式存储给计算过程带来的加速优势，提高了入侵检测系统对网络流量数据的实时处理能力。

技术领域

本发明属于计算机云计算、大数据及机器学习领域，具体涉及基于Storm的马尔可夫等价类模型分布式学习方法。

背景技术

马尔可夫等价类模型是一种描述随机变量间概率关系的图模型，由CPDAG(Complete Partial DirectedAcyclic Graph，完全部分有向无环图)来表示，作为入侵检测中的统计方法，能够有效地反应网络流量数据中各属性之间的关系。从大规模网络流量数据中发现能够描述其关联规则的马尔可夫等价类模型的方法具有很高的复杂度，已被证明是NP难问题。另外，对大规模数据的单机环境的集中式处理方式使模型的学习过程受到严重限制。

目前已有许多学者使用马尔可夫等价类模型等概率图模型描述网络流量数据间的相互关系，并使用了并行化方法加速概率图模型的学习过程。Sahin和Devasia将粒子群算法应用到概率图模型的并行化上；Yu等提出了并行三阶段相关性分析方法，使用条件独立性测试来合并局部结构。另一方面，云计算技术的发展也为克服数据量瓶颈提供了新的解决途径。Yue K.等使用Hadoop的MapReduce框架扩展了评分与搜索方法使其学习过程能够被适用于大规模数据集；Arias等使用Spark减少了此类方法在集群计算过程中的数据传输量，进一步加速了模型的学习过程。

在使用网络流量数据对马尔可夫等价类模型进行训练的过程中，对其搜索空间中的环状路线进行检测也是并行化树式搜索方法的困难之一，这使得现有方法对模型学习过程的并行化粒度较粗，并且常容易受到特定参数的制约。例如并行度受限于图模型中的节点数量，会使得高加速比所带来的性能提升不能发挥到最大。并且已有技术仅将计算任务分布式地在集群上执行，较少关注分布式环境下搜索空间的状态数据存储问题，不能完全有效地发挥云计算对大规模数据的处理能力。急需一种具有高加速比的概率图模型分布式学习方法，来满足入侵检测系统对大规模网络流量数据的实时性需求。

发明内容

本发明的目的在于提供基于Storm的马尔可夫等价类模型分布式学习方法，从而从大规模数据集中高效地学习马尔可夫等价类模型，提高入侵检测系统中使用实时网络流量数据对模型进行训练的性能。

实现本发明的技术解决方案为：一种基于Storm的马尔可夫等价类模型分布式学习方法，具体包括以下步骤：

步骤1、将马尔可夫等价类模型的训练数据集上传至分布式文件系统HDFS(Hadoopdistributedfile system)中，通过Storm平台的Topology框架对训练数据集进行学习，创建四种云计算计算节点，分别是初始化节点node⁰、搜索节点node¹、评分节点node²和输出节点node³；

步骤2、初始化节点node⁰创建初始马尔可夫等价类状态ε_i，使用初始马尔可夫等价类状态生成发送给node^k的状态图元组其中k为云计算节点编号，且0≤k≤3，并发送至任一搜索节点node¹以启动搜索过程，向集群中唯一的输出节点发送状态图元组其中是包含了搜索空间内第i个马尔可夫等价类的状态图元组，是在搜索空间内的第j个相邻状态图元组；