[发明专利]一种非结构化事件日志数据的实时监控方法与装置

摘要

本发明提供了一种非结构化事件日志数据的实时监控方法与装置，此存储装置包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，此方法步骤包括：事件初筛：将收集的数据信息进行初步筛选；事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分；指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；事件存储：将划分好的事件保存到分布式文件系统。本发明实现了对事件的实时监控，及时处理事件日志数据，防止数据丢失。

主权项

一种非结构化事件日志数据的实时监控方法，其特征在于，包括以下步骤：a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；e.事件存储：将划分好的事件保存到分布式文件系统。