[发明专利]基于Storm和Kafka技术的订单实时监控系统

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及基于Storm和Kafka技术的订单实时监控系统。

背景技术

目前，随着大数据时代的到来，数据规模变得越来越庞大，可获取的数据渠道也逐渐增多，尤其是互联网电子商务领域的数据规模更加庞大。

各大互联网电商门户网站在日订单量大幅度提升，尤其在节假日进行各种促销活动已经成为一种趋势，在促销活动期间，电商网站产生大量的流量和商品订单，商家运营部通过监控实时的订单数据调整营销策略也显得尤为重要，同时，让用户能实时看到电商网站的订单数据，也能增加用户的购买欲望。

在高并发的条件下，订单数据会爆发式增长，现有的离线计算系统已经不能满足在高并发环境下的实时计算需求，针对这种情况，大规模订单数据的处理面临的最大的挑战在于如何在有限的时间内对数据进行处理和分析，并且能够实时解决。

因此，对订单实时监控，并保证订单数量、订单实时价格准确性很重要，对异常订单能够及时处理，成为各大电商网站迫切需求，本发明提出基于Storm和Kafka技术的订单实时监控系统，能够快速的对当前价格和历史价格进行校验核对，对有问题的订单，做进一步的处理，更好的完善订单系统。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于Storm和Kafka技术的订单实时监控系统，能够对订单的当前价格和历史价格，进行实时校验核对，对有问题的订单及时做进一步处理，从而，提升了处理效率。

为达到上述目的，本发明的技术方案是这样实现的：

基于Storm和Kafka技术的订单实时监控系统，主要流程包括以下几个部分：

A、订单数据获取；

B、Kafka集群；

C、Strom集群；

D、Zookeeper集群；

E、数据处理结果展示。

其中所述步骤A处理过程主要为：从数据库中获取订单数据，通过订单号获取价格、并查询一个订单所对应的skucode。

其中所述步骤B处理过程主要为：Kafka主要由Producer，Consumer和Broker组成。启动Zookeeper集群，Kafka用Zookeeper集群来记录每一个消费者（Consumer）的offset，并且为集群上的每一台Kafka服务器单独配置配置文件，同时采用随机放入时的方法，往kafka里面放数据。

其中所述步骤C处理过程主要包括以下几个流程：

进一步地，C1、创建消费kafka的spout，即storm提供的KafkaSpout；

C2、在本发明中创建了两个Bolt，一个是创建处理从kafka读取数据的OrderBolt，OrderBolt负责解析kafka读取到的json并发送到下个OrderHandleBolt进一步处理；

C3、创建OrderHandleBolt，并继承BaseRichBolt，即处理订单的bolt，执行public void execute(Tuple tuple, BasicOutputCollector collector)函数，并且该函数通过collector提交数据，同时重载了declareOutputFields函数，通知下一个Bolt的数据格式。该方法功能主要实现历史订单进行比对，并将异常订单相关编号和sku编号，当前价格和历史价格，通过调用MailSender实体类邮件发送功能方法发送相关责任人的邮箱。

C4、创建拓扑OrderTopology，首先创建了一个叫OnProductOrder的topic，然后配置好KafkaSpout的配置SpoutConfig，其中zk的地址端口和根节点，需要说明的是：本发明中Kafka创建了一个3分区的Topic，这里并行度设置为3；

C5、将id为spout通过shuffleGrouping关联到OrderBolt对象，然后将节点为OrderBolt通过shuffleGrouping关联到OrderHandleBolt对象。

C6、最后根据参数创建3个Worker，提交Storm Topology。