[发明专利]基于storm面向用户个性化预警机制大数据计算方法

说明书

技术领域

本发明涉及一种基于storm面向用户个性化预警机制大数据计算方法，属于数据处理技术领域。

背景技术

随着互联网技术的发展，云服务器、云存储等技术的日新月异，大数据时代的来临，为了更好、更快的挖掘出有价值的信息，给客户更好的用户体验，传统的批量计算模型已经无法满足这些需求，分布式处理、集群、流式处理等大数据技术随之诞生。Storm作为目前最火的流式处理框架之一，可应用到各行各业的大数据处理平台中。工程机械行业中，随着传感器技术、数据采集技术的发展，终端设备可以采集的工况数据越来越多，数据量也随着剧增，如何从中提取出有用的数据，更快速的分析出有用的信息展现给用户，是目前亟待解决的问题。

目前，工程机械行业中工况预警技术，一般采用如图1所示的数据处理流程，服务器网关负责从终端设备获取原始数据；解析模块从网关解析出工况数据；报警模块对解析模块获取的数据进行加工处理；关系型数据库对报警数据进行数据存储，供前台界面获取显示。这种技术能解决传统的数据处理和数据存储问题，但当存在海量数据需要处理时，计算机性能和数据存储上都会遇到瓶颈，只能通过提高服务器配置，购买昂贵的硬件设施等方式来解燃眉之急，然而也只能暂时解决问题，无法从根本上解决问题；而且报警方式相对固定，无法根据用户的需求，随时让用户更改报警方案，用户体验度较差。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于storm面向用户个性化预警机制大数据计算方法，可从根本上解决传统解决方案存在的弊端，更灵活更实用。

为了实现上述目的，本发明采用的一种基于storm面向用户个性化预警机制大数据计算方法，包括数据预处理模块、数据解析模块、数据存储模块和报警处理模块；数据预处理模块包括服务器网关和kafka消息队列，kafka消息队列负责服务网关数据与解析数据的桥梁，服务器网关从获取终端发来的原始数据存入kafka的topic中，作为数据解析模块处理的生产者；数据解析模块为storm解析模块，负责从kafka的topic中读取数据，并对topic中的原始数据根据协议定义进行解析；其中，storm的数据处理机制是流式处理，对数据进行逐条解析；数据存储模块包括数据缓存模块、缓存数据库更新模块和历史报警存储模块；报警处理模块为storm报警模块，一方面，从数据缓存模块中获取用户自定义报警方案，另一方面，根据这些报警方案分析出报警逻辑，并且分析出报警结果；基于storm面向用户个性化预警机制大数据计算方法的具体步骤是：

步骤一、用户通过界面按照自身设备设置报警逻辑，设置成功后，系统将会按照约定的数据结构存储报警逻辑的参数和阈值；

步骤二、数据缓存模块定时的从数据库中读取步骤一中存储的数据结构，并用于下一步storm报警模块；其中，定时的时间可由用户自己设定；

步骤三、storm报警模块结合从数据缓存模块读取报警所需的参数和阈值与服务器网关从终端读取发来的实时数据进行逻辑判断；

步骤四、经过步骤三的判断确定这条数据是否为报警数据，如果是报警数据，将进一步判断redis中是否已经存在设备的报警历史，如果存在则更新redis中的相应记录，如果不存在则向redis中插入一条报警记录；如果不是报警数据，同样要判断redis中的报警历史，如果存在,表示报警已经解除，则从redis中删除这条记录。

所述缓存数据库更新模块采用缓存技术redis与界面进行实时交互。

所述历史报警存储模块采用hadoop的hdfs技术进行分布式存储。