[发明专利]一种K‑UX3.0操作系统上搭建storm分布式应用集群的系统及方法

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种K-UX3.0操作系统上搭建storm分布式应用集群的系统及方法。

背景技术

数据的价值随着时间的流逝而降低，所以事件出现后必须尽快地对它们进行处理，最好数据出现时便立刻对其进行处理，发生一个事件进行一次处理，而不是缓存起来成一批处理。Storm技术大大简化了并行实时数据处理，可以使开发人员可以快速地搭建一套健壮、易用的实时流处理框架，配合SQL产品、NoSQL产品或者MapReduce计算平台，就可以低成本地做出很多以前很难想象的实时产品。

K-UX3.0操作系统是通过Unix 03认证的主机操作系统，K-UX操作系统具有广泛的兼容性，基于X86架构，64路服务器，具有较高的数据处理能力。但是，如何将Storm技术搭建在K-UX3.0操作系统上是当前丞待解决的技术问题。

发明内容

为了克服上述现有技术中的不足，本发明提供一种搭建storm分布式应用集群系统，包括：终端访问层、应用层和数据层；终端访问层与应用层通过网络进行连接通信，终端访问层通过ssh协议远程连接操作系统以及远程控制Storm应用平台；应用层通过MQ、Socket通信、前端系统业务数据获取API，或者Log监控，并从数据层获取数据，经过Storm实时处理写入数据；数据层包括：数据库。

优选地，终端访问层包括多个终端客户机，每个终端客户机通过VPN网络访问应用层，每个终端客户机通过应用层连接集群应用服务器，远程管理Strom平台，查看集群服务器的部署方式、主节点和工作节点的分配情况、运行状态、处理的拓扑数据、任务运行相关日志，同时终端客户机针对某一拓扑任务进行访问、数据处理、用户注册操作，终端客户机通过远程管理Strom平台进行远程控制。

优选地，应用层由N+1个节点组成，其中用一个节点部署在Nimbus服务器上，N个节点部署在Supervisor服务器上，同时所有节点上部署Zookeeper集群，实现对Storm集群的一致性管理，增强Storm集群的可靠性和可伸缩性；数据层包含数据接入层和数据落地层两部分，数据接入层采用MQ、或Socket通信、或前端系统业务数据，获取API或者Log监控方式的源数据流，数据落地层采用HDFS、或Mysql的数据存储设备。

优选地，应用层所有节点部署在Zookeeper集群，用于记录Storm集群服务器的运行状态、协调数据存储，Nimbus服务器通过Zookeeper协调supervisor服务器，进行代码分发任务分配，实现对Storm集群的一致性管理，增强Storm集群的可靠性和可伸缩性。

一种K-UX3.0操作系统上搭建storm分布式应用集群的方法，方法包括：

搭建Zookeeper集群；

在集群内的每台服务器上安装Java和Python依赖；

搭建Storm集群。

优选地，搭建Zookeeper集群步骤包括：

在每台服务器上安装Zookeeper，创建Zookeeper的data目录和log目录；

在Data目录下建立zk集群的myid文件，编辑myid文件，并在对应的IP的服务器上输入对应的编号；

将conf目录下的zoo_sample.cfg文件拷贝一份，命名为为zoo.cfg，修改zoo.cfg配置文件；

将zk的bin目录路径加入环境变量，使其生效。

优选地，在集群内的每台服务器上安装Java和Python依赖步骤包括：

集群内每台服务器上安装Java和Python依赖，将Jdk和Python文件分别解压到相应目录，并且配置环境变量，将bin目录加载到path中，使其生效。

优选地，搭建Storm集群步骤包括：

Nimbus服务器和Supervisor服务器上分别安装Storm，创建一个Storm的本地数据目录，将Storm的bin目录加入系统路径，使其生效；

分别配置Nimbus服务器和Supervisor服务器集群上的conf/storm.yaml文件。

从以上技术方案可以看出，本发明具有以下优点：