[发明专利]一种基于Hadoop的安全日志聚类方法与追责系统

说明书

本发明属于的技术领域是数据挖掘与信息安全领域。发明公开一种海量的安全管控日志的追责系统，通过研究海量管控的动态日志，建立一种切实可行的追责系统，实现对异常事件的追责与溯源，对安全事件的威胁态势感知，特别是涉及一种聚类算法K‑Means算法的改进，结合Map/Reduce并行计算的特点，实现K‑Means并行化迭代计算，提高了日志处理的速度、准确率。

技术领域

本发明属于的技术领域是一种基于Hadoop的安全日志聚类方法与追责系统。其属于数据 挖掘与信息安全领域，发明的基础是基于云计算环境，Hadoop架构的云计算模式。涉及一种 海量的安全管控日志的追责，特别是涉及一种日志聚类算法K-Means算法的改进。

背景技术

云计算承载着巨大的数据资源，大数据的持续增长，给物理设备带来了严峻的考验，如 何存储、处理、分析等这些储蓄膨胀的数据越来越成为计算机及相关领域关注的热点，应运 而生的开源Hadoop大数据处理架构成为各行业的热宠，Hadoop平台具有高效、可靠、扩展 性强等特点，它的两个主要组成部分是Hadoop分布式文件系统HDFS和并行处理模型Map Reduce，通过从HDFS中提取文件，进入Map Reduce迭代处理，完成海量数据的处理。Hadoop 中核心组件Map/Reduce的高效的处理能力，整个处理阶段可以大概分为3阶段，第一阶段通 过从HDFS(文件存储系统)提取被分割成固定大小的数据块(通常是64M)进入Map，Map对 其进行首次处理，形成(Key，value)的键值对，进入第二阶段即中间阶段是combine，该阶 段主要是完成对键值对的排序处理，该阶段需要占用大量的I/O，最后一阶段为经过Combine 处理后的中间值进入Reduce阶段，Reduce按照输出要求处理数据，输出结果。

物以类聚，人以群分，聚类思想根深蒂固，流行于大数据挖掘，属于无监督的机器学习， 具有多种方式的分类方法，一般有基于划分的聚类，基于网格的、基于密度等，一般按照聚 类对象的形状等选取恰当的方法，也可以使用融合的方式，针对我们所要研究的日志特性(非 结构化文本)，选取了具有原理简单、算法容易的基于划分的典型代表K-Means算法，其原理 是通过不断计算各样本点到聚类中心的距离，根据远近把数据分到事先指定(一般随机输入 的K值)的K类中，针对容量为n的S集数据，其过程如下：

输入一个K值(一般按照预想输出类指定)

从样本集S中随机选取K个值作为初始聚类中心，计算剩余的样本值到各初始聚类中心 的距离，按照距离远近进行划分到最近的簇类，不断的迭代计算，直到收敛。

K-Means的迭代过程中，主要涉及两大研究方向，第一K值的选择，随机选择K值，容易影响聚类的效果，第二初始聚类中心的选择，存在选择孤立点或者噪声点作为初始聚类中 心的风险，造成局部最优，针对其缺陷，近年来的研究热点也就主要集中在这两方面。

鉴于Hadoop的强大的云计算能力，K-Means算法简单易实现的特点，利用Map/Reduce 的并行计算能力，把K-Means与Map/Reduce结合起来，极大的提高了云计算能力，居于此， 结合本项目研究对象海量管控日志，通过改进K-Means算法，并与Map/Reduce结合能够提高 日志的处理能力，降低漏报率与误报率，进一步实现对信息泄漏、进程阻断，网络截流等管 控行为的发现和还原，并依据统一的规范形成追责证据。搭建一个具有对动态信息追责溯源 的系统对提高网络安全性，提高可信云的运行环境，显得必要。

发明内容