[发明专利]一种数据分析系统、方法、服务器及存储介质

说明书

本发明提供一种数据分析系统、方法、服务器及存储介质，本发明涉及元数据分析技术领域，获取用户行为数据，并对用户行为数据进行预处理，形成用户行为数据集；对用户行为数据集进行分组或聚合操作，计算用户行为数据集中的均值与标准差；对用户行为数据进行评分；对用户行为数据进行归一化处理，形成事件对象化图谱，用以表示事件与行为、事件与事件的连接关系；将处理结果进行存储供并进行展示。可以实现数据处理流程动态调整、数据处理结果组合再处理、数据处理结果分层输出/再处理，数据集/数据集规则指数型增量动态扩展。解决数据的分析规则海量增长、规则算子动态扩展、数据处理批流一体化的问题。

技术领域

本发明涉及元数据分析技术领域，尤其涉及一种数据分析系统、方法、服务器及存储介质。

背景技术

数据分析是数据处理流程的核心，因为数据中所蕴藏的价值就产生于分析的过程。所谓“大数据分析”，其和以往数据分析的最重要的差别在于数据量急剧增长。由于数据量的增长，使得对于数据的存储、查询以及分析的要求迅速提高。从实际操作的角度看，“大数据分析”需要通过对原始数据进行分析来探究一种模式，寻找导致现实情况的根源因素，通过建立模型与预测来进行优化，以实现各个领域的持续改善与创新。现阶段数据分析手段主要包含以下方式：

模型分析：通过梳理数据分析逻辑开发的定制化的数据分析程序，针对特殊需求的定制化开发。

批量分析：通过页面规则配置后，程序根据配置的规则翻译生成Spark SQL可执行文件，定期调度执行分析。

实时/序列分析：通过页面规则配置后，程序根据配置的规则拼装生成siddhi可执行的文件，实时调度进行数据分析。

基于定制模型的分析方式功能相对单一，需要研发人员自己开发分析程序，对研发人员技术要求较高，开发周期相对较长，同时模型复用性较低。模型的性能优化方面参差不齐，对整体系统的稳定性存在巨大隐患。

基于页面规则配置化的批量分析，通过代码翻译的方式将规则固化，不利于规则的动态调整。翻译后的代码不利于进行代码层面的性能优化，同时该方式为基于规则翻译方式，针对同一数据集的多种分析规则会生成多个分析代码，分析时会同时加载相同数据，造成数据重复拉取，资源浪费，影响整体系统的稳定性运行，无法满足规则指数增长的需求，代码翻译方式对于海量数据分析没有实际意义。

基于规则配置的实时/序列分析方式，该分析方式本质上同批量分析的代码翻译方式，采用程序翻译成引擎可执行的语句活文件。由于流分析引擎先天的存在缺陷，导致该分析方式存在分数据丢失的情况，同时分析性能无法满足业务需求，无法支撑数据爆炸增长的分析诉求。

发明内容

为了解决现有技术的不足，本发明提供一种数据分析系统是基于元数据与策略驱动的数据分析方法来解决数据的分析规则海量增长、规则算子动态扩展、数据处理批流一体化的问题。

数据分析系统包括：数据预处理模块、用户行为分析模块、事件评分处置模块、对象化处理模块以及系统架构模块；

数据预处理模块用于获取用户行为数据，并对用户行为数据进行预处理，形成用户行为数据集；

用户行为分析模块用于对用户行为数据集进行分组或聚合操作，计算用户行为数据集中的均值与标准差；

事件评分处置模块用于对用户行为数据进行评分；

对象化处理模块用于对用户行为数据进行归一化处理，形成事件对象化图谱，用以表示事件与行为、事件与事件的连接关系；

系统架构模块用于将处理结果进行存储供并进行展示。

进一步需要说明的是，数据预处理模块采用XML文件的形式对用户行为数据进行预处理。

进一步需要说明的是，数据预处理模块的主流程通过XML配置方式对用户行为数据进行预处理，用户行为数据的处理规则基于XML配置实现。