[发明专利]自动优化Storm并行度的方法、终端设备及存储介质有效
| 申请号： | 201710960909.5 | 申请日： | 2017-10-17 |
| 公开（公告）号： | CN107748711B | 公开（公告）日： | 2021-01-12 |
| 发明（设计）人： | 曾超;江汉祥;蔡淋强;林文楷 | 申请（专利权）人： | 厦门市美亚柏科信息股份有限公司 |
| 主分类号： | G06F11/34 | 分类号： | G06F11/34;G06F11/30 |
| 代理公司： | 厦门市精诚新创知识产权代理有限公司 35218 | 代理人： | 何家富 |
| 地址： | 361000 福建省厦门市*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种自动优化Storm并行度的方法，包括如下步骤，S1：设置初始并行度Nmax和最小观察时长T，进入S2；S2：配置并保存并行度N及相关参数，进入S3；S3：提交计算拓扑到Storm集群，进入S4；S4：开始观察，对定时器、每个消息源和消息处理者的执行时长和执行次数清零，进入S5；S5：累加并记录观察时长T0和每个消息源和消息处理者的执行时长和执行次数，直到T0大于或等于T，进入S6；S6：计算每个消息源和消息处理者的实时并行度，并和各自的N进行比较，若相等，则返回S4，否则进入S7；S7：将S6中计算的实时并行度赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4。 | ||
| 搜索关键词： | 自动 优化 storm 并行 方法 终端设备 存储 介质 | ||
【主权项】：
一种自动优化Storm并行度的方法，其特征在于：包括如下步骤：S1：设置初始并行度Nmax和最小观察时长：设置最小观察时长T和每个消息源(Spout)和消息处理者(Bolt)的初始并行度Nmax，其中，最小观察时长T为Storm优化阶段观察实际运行情况的最小时长，进入S2步骤；S2：配置并保存并行度及相关参数：Storm启动，将S1中设置的初始并行度Nmax赋值给每个消息源(Spout)和消息处理者(Bolt)的并行度N并保存，同时配置Storm的其他相关参数，进入S3步骤；S3：提交计算拓扑(Topology)：提交计算拓扑(Topology)到Storm集群，并启动该计算拓扑(Topology)，进入S4步骤；S4：开始观察并清零相关数据：开始观察，并对定时器、每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed清零，进入S5步骤；S5：累加并记录相关数据：累加并记录观察时长T0，同时累加并记录每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed，直到观察时长T0大于或等于最小观察时长T，进入S6步骤；S6：计算实时并行度：计算每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors，并对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤；S7：调整并行度N：将S6中计算的每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4步骤。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门市美亚柏科信息股份有限公司，未经厦门市美亚柏科信息股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710960909.5/，转载请声明来源钻瓜专利网。
- 上一篇：继电器底座
- 下一篇：一种基于linux系统的日志自动分析方法
