[发明专利]基于MapReduce并行AP聚类的网络入侵检测方法

摘要

一种基于MapReduce并行AP聚类的网络入侵检测方法，所述检测方法包括如下步骤：第一步，入侵检测样本数据预处理，完成特征数据的数值化和归一化；第二步，利用基于MapReduce的并行AP聚类压缩入侵检测样本数；第三步，利用压缩后的数据样本，通过KNN或SVM分类器实现高效检测。本发明提供一种基于MapReduce并行AP聚类的网络入侵检测方法，对数据样本处理具备良好的扩展性，可实现对海量数据样本的有效压缩，提高检测速度和检测精度。

主权项

一种基于MapReduce并行AP聚类的网络入侵检测方法，其特征在于：所述检测方法包括如下步骤：第一步，入侵检测样本的预处理，即完成特征数据的数值化和归一化处理；第二步，利用基于MapReduce的并行AP聚类压缩入侵检测样本数，过程如下：(2.1)相似度矩阵计算的MapReduce并行化AP聚类采用欧式距离的负值来衡量数据点间的相似度，欧式距离的计算公式：$s(x,y)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k^2+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{y}_k^2-2\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k{y}_k$并行化计算的输入可以看成是每行保存一个数据点的矩阵A，公式的前两项和第三项可以分开算，前两项计算时每个节点不依赖其它节点上的数据，每个节点都可以单独计算存储在自身节点上数据点的各个维度的平方和，而第三项实际就是输入矩阵A与其转置矩阵A^T相乘得到的矩阵T的第i行第j列的值，假设x是第i个点，而y是第j个点，因此第三项的计算采用类似于并行化计算矩阵相乘的方法；第三项的计算过程如下：$\begin{array}{c}A\left[\begin{array}{c}a11,a12\\ a21,a22\end{array}\right]-->A^T\left[\begin{array}{c}a11,a21\\ a12,a22\end{array}\right]-->\left[\begin{array}{ccc}1& a11\×a11& a11\×a21\\ 2& 0& a21\×a21\\ 1& a12\×a12& a12\×a22\\ 2& 0& a22\×a22\end{array}\right]-->\\ \left[\begin{array}{ccc}1& a11\×a11+a12\×a12& a11\×a21+a12\×a22\\ 2& 0& a21\×a21+a22\×22\end{array}\right]\end{array}$先对输入矩阵A转置，然后求每行中各项与其后面各项的乘积，并以各项所在的列作为行键，最后对相同行键的行进行纵向求和汇总即可得到欧式距离计算公式中第三项的值；(2.2)吸引度矩阵和归属度矩阵计算的MapReduce并行化用MapReduce并行化计算吸引度值时在Map中将相似度值s(i,k)和归属度值a(i，k)以其所在行作为键输出，使同一行的a(i,k)和s(i,k)洗牌到(Shuffle)同一reduce的节点进行计算，而计算归属度值时可以在Map中将吸引度值r(i,k)以其所在列作为键输出，使同一列的r(i,k)洗牌到同一reduce节点进行计算，使用了Point结构来保存s(i，k)、r(i,k)和a(i,k)；在Map阶段以Point所在列为键输出，Reduce阶段计算同一列的归属度值；(2.3)聚类中心计算的MapReduce并行化计算聚类中心时只用到a(k,k)和r(k,k)的值，而使用Point同时保存了这两个值，所以各个节点独立计算本节点上的数据点有哪些是聚类中心，并行化计算聚类中心时在Map阶段判断本节点上有哪些数据点是聚类中心，输出是聚类中心的点，而在reduce阶段汇总各个节点的计算结果，得到最终的聚类中心，以此完成数据样本压缩；第三步，基于MapReduce的AP并行化聚类处理获得压缩后的数据样本，再利用KNN或SVM分类器实现入侵检测。