[发明专利]数据管理方法及数据管理系统

说明书

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据管理方法和一种数据管理系统。

背景技术

LogStash是一款轻量级的日志搜集处理框架，是一个数据管道，可以方便的把分散的、多样化的、多种类型的日志搜集起来，包括流式日志数据，然后传输到指定的位置，比如某个服务器或者文件。LogStash主要包含三个部分：Inputs(输入)、Fillters(过滤)及Outputs(输出)，Inputs是指日志数据传输到Logstash中，Fillters是指在LogStash把收集到的日志数据进行过滤，Outputs是LogStash处理管道的最末端组件，处理数据的输出，通常在对流式数据收集后，没有对其任何处理，直接输出到某个位置，无法满足用户对数据的处理需求，对此目前还没有有效的解决方案。

发明内容

本发明正是基于上述技术问题至少之一，提出了一种新的数据管理方案，能够对获取到的流式数据进行关联分析，以满足用户对数据的处理需求。

有鉴于此，本发明提出了一种数据管理方法，包括：监测是否获取到目标流式数据；在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出所述关联结果。

在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。

在上述技术方案中，优选地，在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前，还包括：创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述对所述目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。

在上述任一项技术方案中，优选地，所述根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，在对目标流式数据的处理过程中，具体可采用正则表达式匹配方法来对流经每个时间窗口的目标流式数据进行上下文关联分析，确保了对目标流式数据分析结果的准确性。其中，正则表达式可基于预定义的一些特定字符及这些特定字符的组合以对待处理数据进行过滤匹配，其具有灵活性、逻辑性及功能性强等优势。

在上述任一项技术方案中，优选地，还包括：在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。

在该技术方案中，用户可根据实际需求来对时间窗口及其对应的关联信息进行设置，以满足不同用户需求，提升了用户的使用体验。

在上述任一项技术方案中，优选地，在所述确定获取到所述目标流式数据的步骤之后，以及在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前还包括：对所述目标流式数据进行过滤处理。

在上述任一项技术方案中，优选地，所述目标流式数据包括流式日志数据。

根据本发明的第二方面，提出了一种数据管理系统，包括：监测单元，用于监测是否获取到目标流式数据；处理单元，用于在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出单元，用于输出所述关联结果。

在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。

在上述技术方案中，优选地，还包括：创建单元，用于创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述处理单元具体用于：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。

在上述技术方案中，优选地，所述处理单元具体用于：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。