[发明专利]一种实现日志数据实时关联装置及方法

说明书

技术领域

本发明涉及关联规则数据挖掘技术领域，尤其涉及一种实现日志数据实时关联装置及方法。

背景技术

随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中存储的数据量急剧增大，在大量的数据背后隐藏着许多重要信息。数据挖掘就是从大型的数据库中提取出人们感兴趣的信息数据。数据挖掘目的在于确定关联规则。所述关联规则是指在日志数据、关系数据或者其它信息载体中，存在与项目集合或对象集合之间的频繁模式、相关性或因果结构。关联规则的获取途径主要是利用数据挖掘方法从大量的事件记录数据库中找出数据之间的相关性或频繁模式。其中，数据挖掘方法主要以Apriori(由原因推及结果)算法为代表，其后的MPL(The Mozilla Public License，专用许可协议)等算法大多是在Apriori算法的基础上衍生或者改进。

在网络管理系统中，利用关联规则，网管系统可将具有关联性的多组日志数据进行存储、运算等处理，以备后续网络设备进行实时调用；而当关联规则描述的是非授权日志数据之间的关联性时，网管系统根据此时的关联规则即可识别出当前的日志数据为非授权日志数据。

现有技术中，当发现有多组非授权日志数据存在时，由于非授权日志数据对于后续处理基本没有作用，考虑到对存储空间的不必要占用，因此需要人工逐组进行排查，继而删除非授权日志数据。人工排查过程繁琐、工作量大、且容易造成排查漏洞。

发明内容

有鉴于此，本发明的主要目的在于提供一种实现日志数据实时关联装置及方法，进行关联规则与数据的实时匹配，当发现非授权日志数据时，标识非授权日志数据，能够解决人工排查工作量大的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种实现日志数据实时关联装置，该装置包括数据预处理模块和数据分析模块；其中，

所述数据预处理模块，用于对网络设备中的数据进行采集，形成原始数据，并原始数据进行规范后形成规范数据；

所述数据分析模块，用于将所述规范数据与关联规则进行实时匹配，当匹配结果相同时，标识所述规范数据。

上述方案中，所述数据分析模块，进一步用于：当所述规范数据与所述关联规则的匹配结果相同时，产生告警。

上述方案中，所述数据预处理模块包括采集单元、规范单元和接口单元；其中，

所述采集单元，用于对网络设备中的数据进行采集，形成原始数据，发送至所述规范单元；

所述规范单元，用于对收到的原始数据进行泛化形成规范数据，发送至所述接口单元；

所述接口单元，用于将所述规范数据发送至所述数据分析模块。

上述方案中，所述接口单元为socket接口。

上述方案中，所述数据分析模块包括内存单元和关联规则单元；其中，

所述关联规则单元，用于加载存储的关联规则到所述内存单元；

所述内存单元，用于在指定的时间内，将所述规范数据与所述关联规则进行匹配，当匹配结果相同时，标识所述规范数据。

上述方案中，所述内存单元，进一步用于：当所述规范数据与所述关联规则的匹配结果不同时，存储所述规范数据。

上述方案中，所述内存单元，进一步用于：在设定时间内，存储的所述规范数据没有被使用，将其删除。

上述方案中，所述数据分析模块进一步包括告警单元；

所述内存单元，进一步用于当规范数据与关联规则的匹配结果为相同时，触发所述告警单元；

所述告警单元，用于根据所述内存单元的触发产生告警。

本发明还提供了一种实现日志数据实时关联方法，所述方法包括：

采集数据、并将采集到的数据进行规范，形成规范数据；

将规范数据与关联规则进行匹配，当匹配结果相同时，标识所述规范数据。

上述方案中，所述采集数据、并将采集到的数据进行规范，形成规范数据，包括：

对网络设备中的数据进行采集，形成原始数据，然后数据预处理模块对所述原始数据进行泛化形成规范数据，并发送至数据分析模块。

上述方案中，所述将规范数据与关联规则进行匹配，当匹配结果相同时，标识所述规范数据，包括：

加载存储的关联规则，在指定的时间内，然后将所述规范数据和所述关联规则进行匹配，当匹配结果相同即当前的规范数据为非授权日志数据时，则标识所述规范数据。

上述方案中，所述标识所述规范数据之后进一步包括：产生告警。

上述方案中，所述方法还包括：