[发明专利]一种针对实时云环境Storm的提高网络资源利用率计算方法

说明书

技术领域

本发明涉及云计算大数据计算、实时流处理以及网络优化领域，具体涉及 到一种针对实时云环境Storm的提高网络资源利用率计算方法。

背景技术

网络负载对保证实时云计算环境的高可用性、高可靠性以及实时性具有至 关重要的作用。实时云计算环境Storm对计算要求处理时间低延迟、数据大规 模和数据结构动态变化。图1示出了一个普通的Storm拓扑结构的基本组成， 在一个拓扑结构中，Spout(喷口)代表整个拓扑结构的数据入口，实时流数据 被封装在Tuple(元组)中，通过Stream(流)再流向下一层Bolt(螺栓)，其 负责进行相应的应用计算。

图2示出了一个Storm拓扑结构并行机制。一个Spout或者Bolt被实例化 为一个或者多个任务，这样一个拓扑包含了多个任务，每一个任务都会被调度 到某一个Worker里面，一个Worker在操作系统层面相当于一个Java虚拟机， 而每一个Wroker最后被分配到集群中某一个节点中的某一个端口Slot。

可以看出，当一个Tuple从前面一层向后面一层发送任务时，是可以进行优 化的。由于前面一层的某些任务和后面一层的某些任务可能在部署层面存在一 种相似关系，这种相似关系由近到远分别由以下三种情况组成：

(1)前面一层的某一个或者几个任务与后面一层的某一个或者几个任务存 在于同一个Worker(计算者)里面。对于这种情况，Tuple的发送者与接收者都 存在于同一Java虚拟机内部，意味着不会产生物理节点间网络开销，而只是引 用或者指针的传递。

(2)前面一层的某一个或者几个任务与后面一层的某一个或者几个任务存 在于不同Worker，但是都存在于同一物理节点上。对于这种情况，Tuple的发送 者与接收者都存在于同一物理节点内部的不同Java虚拟机里，同样意味着不会 产生物理节点间网络开销，而同一物理机端口间的消息传送。

(3)前面一层的某一个或者几个任务与后面一层的某一个或者几个任务存 在于不同的物理节点上。对于这种情况，Tuple的发送者与接收者都存在于不同 的物理节点之间，意味着会产生物理节点间网络开销，从而产生网络负载。

发明内容

本发明提出一种针对实时云环境Storm的提高网络资源利用率计算方法， 旨在确定Tuple的发送者与接收者之间的部署关系，来减少网络开销。

本发明的技术方案是这样实现的：

一种针对实时云环境Storm的提高网络资源利用率计算方法，在一个Tuple 数据从一个Spout或者Bolt发送之前，结合拓扑动态结构，首先进行第一个判 断过程，判断即将接受Tuple数据的Bolt是否与发射Tuple数据的Spout或者 Bolt在同一个Worker里面：

如果是，那么直接将数据的引用或指针发送给接受Bolt；

如果不是，那么接下来进行第二个判断过程，判断即将接受Tuple数据的 Bolt是否与发射Tuple数据的Spout或者Bolt在同一个物理节点上；

第二个判断过程中，如果是，那么接受Bolt与发射Tuple数据的Spout或者 Bolt位于同一物理节点的不同Worker里面，此时就将Tuple数据发送给本物理 节点的另一个端口；

如果否，那么接受Bolt与发射Tuple数据的Spout或者Bolt不在同一个物 理节点上，进行网络传输。

本发明的有益效果是：确定Tuple的发送者与接收者之间的部署关系，来减 少网络开销。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个普通的Storm拓扑结构的基本组成示意图；

图2为一个Storm拓扑结构并行机制示意图；

图3为本发明一种针对实时云环境Storm的提高网络资源利用率计算方法 流程图。

具体实施方式