[发明专利]基于可视化配置的日志数据转换方法及系统

说明书

本发明适用于数据处理技术领域，尤其涉及基于可视化配置的日志数据转换方法及系统，所述方法包括：获取待转换日志文件，构建可视化配置规则数据库；将待转换日志文件通过不同的文本读取软件打开，提取待识别文本，根据待识别文本确定有效日志文本；对有效日志文本进行字符提取和文字提取，构建可视化文本模型；检索可视化配置规则数据库，调取对应的文本转换规则，对有效日志文本进行转换，得到结构化日志文本。本发明根据文字与字符识别当前日志的格式与内容，查询预设的可视化配置规则，根据对应的可视化配置规则对有效日志文本进行结构化处理，得到结构化日志文本，实现了日志数据的格式统一。

技术领域

本发明属于数据处理技术领域，尤其涉及基于可视化配置的日志数据转换方法及系统。

背景技术

日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。

可视化是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术，它涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。

目前为止，日志数据的格式很多，差异较大，日志内容只能通过人工识别，难以实现日志的自动化识别。

发明内容

本发明实施例的目的在于提供基于可视化配置的日志数据转换方法，旨在解决日志数据的格式很多，差异较大，日志内容只能通过人工识别，难以实现日志的自动化识别的问题。

本发明实施例是这样实现的，一种基于可视化配置的日志数据转换方法，所述方法包括：

获取待转换日志文件，构建可视化配置规则数据库；

将待转换日志文件通过不同的文本读取软件打开，提取待识别文本，根据待识别文本确定有效日志文本；

对有效日志文本进行字符提取和文字提取，构建可视化文本模型；

根据可视化文本模型检索可视化配置规则数据库，调取对应的文本转换规则，对有效日志文本进行转换，得到结构化日志文本。

优选的，所述将待转换日志文件通过不同的文本读取软件打开，提取待识别文本，根据待识别文本确定有效日志文本的步骤，具体包括：

将待转换日志文件通过不同的文本读取软件打开，对文本读取软件显示的文本进行复制，得到待识别文本；

从待识别文本中随机截取多个文本段落，对每个文本段落进行字符统计，得到字符统计结果，所述字符统计结果包含汉字统计结果和英文字母统计结果；

根据汉字统计结果和英文字母统计结果从待识别文本中筛选得到有效日志文本。

优选的，所述对有效日志文本进行字符提取和文字提取，构建可视化文本模型的步骤，具体包括：

对有效日志文本进行字符提取和文字提取，得到待分析词组和待分析字符串；

根据待分析词组和待分析字符串查询预设的关键字数据库，得到各个有效日志文本对应的有效关键字；

调取预设的空白模型，根据有效关键字对空白模型进行填充，得到可视化文本模型，所述可视化文本模型为由多个单元格组成的图像，每一个单元格对应一个关键字，单元格通过两种颜色进行标记。

优选的，所述根据可视化文本模型检索可视化配置规则数据库，调取对应的文本转换规则，对有效日志文本进行转换，得到结构化日志文本的步骤，具体包括：

查询可视化配置规则数据库，调取其中所有的标准模型；