[发明专利]基于流数据实时计算的方法、系统、设备及存储介质

说明书

本发明提供了基于流数据实时计算的方法、系统、设备及存储介质，其中，方法包括以下步骤：对目前已有的数据进行节点开发，将已有的数据处理逻辑封装成Storm集群的源头和节点，然后在数据库中进行节点配置，提供给后台管理系统使用；根据系统中已经配置的节点，根据业务需求设置每个节点的参数值，最后提交取数任务到数据库中保存；提交取数任务；根据接收到的取数任务的配置参数生成网络拓扑；将网络拓扑提交到管理系统；根据管理系统的自定义回调函数触发编译系统进行网络拓扑的编译和打包；将打包后的网络拓扑上传到Storm集群；以及完成取数任务的网络拓扑自动上线进行工作。本发明能够满足运营人员多种多样的取数需求，通过配置化快速上线。

技术领域

本发明涉及数据处理领域，具体地说，涉及基于流数据实时计算的方法、系统、设备及存储介质。

背景技术

近年来大数据处理的需求不断增多，如何处理庞大的海量数据充满挑战。随着互联网的进一步发展，从门户网站浏览型到搜索型到SNS关系交互传递型，以及电子商务将生活中的流通环节在线化。对于效率的要求让人们对实时性的要求进一步提升，而信息的交互正在往信息网的方向发展，必然带来数据各个维度的交叉关联，数据爆炸已不可避免。流式数据实时计算框架随之诞生，比如Twitter Storm、Yahoo S4、IBM Streambase、Borealis等。通过类似于Storm的实时数据流计算框架，开发人员可以快速搭建一套健壮的实时流计算框架，配合数据库使用可以低成本的开发出优秀的实时产品。

Storm是2011年9月由Twitter公司开源的流式数据实时计算框架，是目前工业界技术最成熟的流计算框架之一。数据流处理平台通常基于故障恢复的高可用方法有三类：积极备用(Active Standby)，消极备用(Passive Standby)和上游备份(UpstreamBackup)。在上游备份方式下，每个处理节点的缓存队列维持输出数据到一直到接收到来自下游节点的确认信号为止，在下游处理节点发生故障时，通过上游重发队列中的数据来恢复计算。为了保证实时计算在处理数据时低处理时延的特性、同时降低资源消耗，Storm对上游备份机制进行了改进：(1)监控线程(Acker)对处理过程进行跟踪，使用高效的异或算法定位，一旦检测到故障发生，通知数据源重新发射根元组数据；(2)处理节点无需缓存计算结果，而是在处理完元组后发送确认信号给监控线程，监控线程负责监视根元组及其衍生的元组树上的元组是否完成处理。

目前流式数据处理有很多流式计算框架，比如Storm、Spark Streaming等，每次做流式数据处理的时候，都需要单独开发对应的脚本，一些数据处理会经常重复但是又无法复用，脚本研发周期长，无法满足多种场景，并且难以管理，严重阻碍数据处理上线的速度，无法快速响应业务需求。

因此，本发明提供了一种基于流数据实时计算的方法、系统、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于流数据实时计算的方法、系统、设备及存储介质，能够满足运营人员多种多样的取数需求，通过配置化快速上线。

本发明的实施例提供一种基于流数据实时计算的方法，包括以下步骤：

S101、对目前已有的数据进行节点开发，将已有的数据处理逻辑封装成Storm集群的源头和节点，然后在数据库中进行节点配置，提供给后台管理系统使用；

S102、根据系统中已经配置的节点，根据业务需求设置每个节点的参数值，最后提交取数任务到数据库中保存；

S103、提交取数任务；

S104、根据接收到的取数任务的配置参数生成网络拓扑；

S105、将所述网络拓扑提交到管理系统；

S106、根据所述管理系统的自定义回调函数触发编译系统进行网络拓扑的编译和打包；