[发明专利]基于大数据处理框架的神经网络算法在IDS中的应用

说明书

本发明公开了一种基于大数据处理框架的神经网络算法在IDS中的应用，本发明设计了基于大数据技术处理框架的BP神经网络分类器模型在入侵检测系统中的应用。该模型除应用了大数据技术处理框架，还应用了基于Kolmogorov定理和训练函数“trainbfg”拟牛顿算法的BP神经网络算法。

技术领域

本发明涉及大数据应用领域，具体的说，涉及基于大数据处理框架的神经网络算法在IDS中的应用。

背景技术

IDS按照检测环境不同可以分为网络入侵检测系统、主机入侵检测系统和分布式入侵检测系统。基于网络的入侵检测系统其数据来源于网络中的信息流，而基于主机的入侵检测系统则来源于系统的审计日志，一般只能检测单个主机上发现的日志，而分布式入侵检测系统主要是将主机入侵检测系统和网络入侵检测系统结合，使系统可以对异构，多点环境进行检测，是现在入侵检测系统的发展方向。

大数据正在对每个领域都造成影响，在商业、经济和其他领域中，决策行为将日益基于数据分析做出，而不是像过去更多地凭借经验和直觉。值得注意的是，随着世界经济技术的发展，全世界网络规模不断扩大，全球网络流量以及各种主机产生的日志信息都在呈指数级上升。大数据的规模效应给数据存储、管理以及数据分析带来了新问题的同时，也面临了新的挑战。随着海量数据的集中和信息技术的发展，传统入侵行为检测技术、安全防护手段的更新升级速度已经无法跟上数据量非线性增长的步伐，而且面临着黑客攻击手段不断翻新和系统升级的挑战。总而言之，面对大规模数据量的增长，传统的入侵检测技术在处理速度和能力上都很难胜任。

因此有必要建立基于大数据技术处理框架的新型入侵检测系统，并应用自动化和系统化程度更高的检测算法去检测网络入侵行为。因此通过BP神经网络算法分析，结合Hadoop大数据技术框架平台的特性，使网络入侵检测框架具有高扩展性，高性价比，容错能力强。

发明内容

为了解决上述问题，本发明提供了基于大数据处理框架的神经网络算法在IDS中的应用。

本发明设计了基于大数据技术处理框架的BP神经网络分类器模型在入侵检测系统中的应用。该模型除应用了大数据技术处理框架，还应用了基于Kolmogorov定理和训练函数“trainbfg”拟牛顿算法的BP神经网络算法。具体内容包括：

BP神经网络算法模型，该模型是一种多层前馈神经网络，即采用误差反向传播学习算法的神经网络；该算法模型包括输入层、隐藏层和输出层，相邻层神经元之间采用全连接方式，同一层之间没有任何连接；同层节点间无任何耦合，每一层的神经元只接受前一层神经元的输入，每一层神经元的输出只影响下一层神经元的输出，网络中每一层的权值通过学习来调，实现从输入到输出的任意非线性映射；神经网络具有自学习、联想记忆和模糊运算能力，应用于入侵检测系统，使得神经网络不仅可以识别出已有的攻击模式，还可以检测出未知攻击的能力；神经网络作为一种高效并行非线性动态处理系统，可以满足实时处理系统的要求。

Kolmogorov定理指出：为了近似一个N个变量的连续函数，可以精确地用一个三层前向神经网络实现，此网络的第一层即输入层有N个神经元，中间层2N+1个神经元，第三层即输出层有M个神经元。因此，本系统将基于Kolmogorov定理设计神经网络模型，采用训练函数“trainbfg”拟牛顿算法。拟牛顿法的基本思想就是引进一组矩阵来代替Hessian阵(一般的牛顿法中都要用到当前函数的二次导数(Hessian阵))，它既不需要计算二阶导数，又能很好地逼近，这样就保持了收敛速度快的优点，又避免了牛顿法的繁琐的计算。因此，我们采用了三层BP网络。

本发明技术方案带来的有益效果：