[发明专利]一种数据关联分析方法及系统

说明书

本发明公开了一种数据关联分析方法及装置，该方法包括以下步骤：对待处理数据进行预分类，根据分类结果将待处理数据放入不同数据缓存队列；确定基础数据，并将加载基础数据到内存；根据所述基础数据对放入数据缓存队列的数据进行关联分析；向用户输出关联分析结果。通过本发明的技术方案，提高数据分析的效率，快速定位可疑数据。

技术领域

本发明涉及数据安全领域，具体涉及一种数据关联分析方法及系统。

背景技术

Spark流处理，Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batch size(如1秒)分成一段一段的数据(Discretized Stream)，每一段数据都转换成Spark中的RDD(Resilient Distributed Dataset)，然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。

关联分析，在业务数据中查找存在于对象之间的相关性的分析，具体为根据业务日志中的根据指定字段信息对业务数据进行关联。

随着互联网技术在各行业的不断普及和应用，企业工作流程中各环节产生的业务数据规模迅速扩展。管理者对基于业务数据形成报表管理、事件告警、行为审计的需求日趋强烈。随着大数据技术的发展，为基于业务数据的集中收集和关联分析提供了技术基础。通过业务数据的关联分析技术，可以快速对业务数据进行审计、事件告警，定位问题出现的相关原始信息。

现有技术中存在基于日志的分析系统，如splunk、日志易等关联分析技术。

上述现有技术基本的分析方案包括：

步骤1，从数据源提取待处理的业务数据。

步骤2，对业务数据进行spark流处理。

步骤3，将经过spark流处理的业务数据按照分类结果放入数据缓存区。

步骤4，根据指定的关联规则对放入数据缓存区的数据进行关联分析。

步骤5，判断是否关联成功，关联成功，则将关联的结果数据放入缓存区，并进行数据展示，结束；否则将关联失败的数据放入关联失败数据缓存区。

步骤6，判断关联失败的数据是否还在生命周期，如果在，则返回到步骤4进行进行关联分析，否则放弃关联。

然而上述现有技术存在以下问题：

关联规则和关联数据固定，无法适应数据的实时变化；

并且当有可疑信息出现时直接通过这些信息很难快速定位问题的所在。

发明内容

为了实现以下目的：

1、基于spark的流处理技术，可以近乎实时的对业务数据进行关联分析，基于分析结果可以动态的对业务进行跟踪，对满足阈值的问题触发警报。

2、关联分析之后的结果数据，查询时可以快速定位到与该数据相关联的原始数据资料。

本发明提供了一种数据关联分析方法，其特征在于，该方法包括以下步骤：

对待处理数据进行预分类，根据分类结果将待处理数据放入不同数据缓存队列；

确定基础数据，并加载基础数据到内存；

根据所述基础数据对放入数据缓存队列的数据进行关联分析；

向用户输出关联分析结果。