[发明专利]海量日志数据筛选方法及系统

说明书

本发明公开了一种海量日志数据筛选方法及系统。其中，该方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行筛选，生成筛选结果；根据所述筛选结果，生成日志展示数据并进行可视化展示。本发明解决了现有技术中海量日志数据无法进行筛选和展示的技术问题。

技术领域

本发明涉及海量日志数据筛选领域，具体而言，涉及一种海量日志数据筛选方法及系统。

背景技术

随着大数据部署的不断发展，人们在生活、学习、工作中都会用到大数据带来的有益效果，例如通过大数据配合设备软件平台的海量日志数据筛选功能，可以大幅度地提高海量日志数据筛选效率，增加海量日志数据筛选的准确率和灵活性，并可以利用大数据数据库多元化的特点生成海量日志数据筛选结果中的风险及趋势预测信息。

目前，在进行海量日志数据筛选时，通常会在终端利用固有的海量日志数据筛选程序对本地所存储的数据进行海量日志数据筛选，并得到故障信息等海量日志数据筛选结果数据，这样过程的海量日志数据筛选结果很片面，分析速度和效率不高，无法做到通过海量日志数据筛选输出多元化分析结果的技术目的。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种海量日志数据筛选方法及系统，以至少解决现有技术中海量日志数据无法进行筛选和展示的技术问题。

根据本发明实施例的一个方面，提供了一种海量日志数据筛选方法，包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将所述分析结果进行筛选，生成筛选结果；将所述筛选结果进行展示。

可选的，所述获取目标日志数据包括：根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

可选的，所述对所述目标日志数据进行分析，生成分析结果包括：将所述目标日志数据进行分类，得到分类结果；根据所述分类结果，通过预设规则进行分析得到所述分析结果。

可选的，所述将所述分析结果进行筛选，生成筛选结果包括：根据所述目标日志数据选择所述目标算法；通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

可选的，所述筛选结果包括：故障筛选结果、冗余筛选结果。

可选的，所述根据所述筛选结果校准所述日志数据包括：将所述筛选结果进行排序和汇总；在目标输出设备上显示排序和汇总后的筛选结果。

根据本发明实施例的另一方面，还提供了一种海量日志数据筛选系统，包括：获取模块，用于获取目标日志数据；分析模块，用于对所述目标日志数据进行分析，生成分析结果；筛选模块，用于将所述分析结果进行筛选，生成筛选结果；展示模块，用于将所述筛选结果进行展示。

可选的，所述获取模块包括：采集单元，用于根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

可选的，所述分析模块包括：分类单元，用于将所述目标日志数据进行分类，得到分类结果；分析单元，用于根据所述分类结果，通过预设规则进行分析得到所述分析结果。

可选的，所述筛选模块包括：选择单元，用于根据所述目标日志数据选择所述目标算法；筛选单元，用于通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

在本发明实施例中，采用获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将所述分析结果进行筛选，生成筛选结果；将所述筛选结果进行展示的方式，通过预设的灵活的海量日志筛选算法对日志文件进行筛选，达到了筛选不必要的日志数据的目的，从而解决了现有技术中海量日志数据无法进行筛选和展示的技术问题。

附图说明