[发明专利]一种关于Storm使用的实时消息处理方法

摘要

本发明公开了一种关于Storm使用的实时消息处理方法，属于Storm技术领域，本发明要解决如何在消息处理的过程中不丢失数据，而且可以使整个处理系统具有很好的扩展性的问题。技术方案为：所有Topology的提交在Storm的客户端节点上进行，由Nimbus所在的控制节点分配给其他Supervisor所在的工作节点进行处理。Nimbus首先将提交的Topology进行分片，分成一个个的Task，并将Task和Supervisor相关的信息提交到 zookeeper集群上，Supervisor去zookeeper集群上认领自己的Task，通知自己的Worker进程进行Task的处理。

主权项

一种关于Storm使用的实时消息处理方法，其特征在于在使用Storm的服务器集群中，使用Storm并依赖外部资源Zookeeper集群进行实时消息处理；Storm具有Nimbus和Supervisor，服务器集群的控制节点上部署Nimbus，服务器集群的每个工作节点上均部署Supervisor；Storm提交运行的程序为Topology，Topology由Spout和Bolt构成；包括如下步骤：（1）、Topology的提交在控制节点上进行，把代码首先存放到Nimbus所在的控制节点上，之后，把当前Storm运行的配置生成文件放到Nimbus所在的控制节点中，Nimbus所在的控制节点中同时还有序列化之后的Topology代码文件；（2）、Nimbus在设定Topology所关联的Spouts和Bolts时，同时设置当前Spout和Bolt的worker进程的数目，即设置executor数目和task数目；根据worker进程的数目，将worker进程分配至各个工作节点运行；（3）、任务分配好之后，Nimbus所在的控制节点将worker进程的心跳信息提交到zookeeper集群；（4）、Supervisor 所在的工作节点不断的轮询zookeeper集群，在zookeeper中保存了worker进程的心跳信息，Supervisor 所在的工作节点通过轮询zookeeper中的内容，来领取自己的任务，启动worker进程运行；（5）、一个Topology运行之后，不断的通过Spouts来发送Stream流，通过Bolts不断的处理接收到的Stream流，Stream流是无界的。