[发明专利]一种面向实时流计算的动态逐级反压方法有效

专利信息
申请号: 201710140963.5 申请日: 2017-03-10
公开(公告)号: CN107040476B 公开(公告)日: 2020-05-05
发明(设计)人: 陆佳炜;陈烘;马俊;肖刚;张元鸣;高飞;李杰;卢成炳 申请(专利权)人: 浙江工业大学
主分类号: H04L12/803 分类号: H04L12/803;H04L12/24;G06F9/52
代理公司: 杭州斯可睿专利事务所有限公司 33241 代理人: 王利强
地址: 310014 浙江省*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要: 一种面向实时流计算的动态逐级反压方法,根据任务(Task)节点的当前自身负载情况来调整上游向其发送数据的速率,当某一Task过载导致延迟增加,上游的Bolt会减缓向下游发射的速率,更多的资源会被用来处理当前的正在处理的数据上,避免因阻塞、数据超时、重发等导致的延迟增加。当Task的负载降低至最小阈值且持续sensitivity秒,Task会向上游发送取消反压信号,上游Task收到取消反压信号后首先会检查自身是否处于反压状态,若是则会恢复上一次的发射速度,只有当组件恢复至初试速度时才会消除反压状态。本发明减少拓扑中单个任务对整体延迟的影响、反压过程平滑、系统不会出现负载振荡。
搜索关键词: 一种 面向 实时 计算 动态 逐级 方法
【主权项】:
一种面向实时流计算的动态逐级反压方法,其特征在于:包括以下步骤:步骤(1)遍历当前需要进行反压的任务Task集合Ti;步骤(2)若Ti为空,则结束,否则Ti取出下一个Taski并将其从Ti中移除;步骤(3)判断Taski是否处于过载,若是进行步骤(4),否则进行步骤(9);步骤(4)获取Taski的上游节点集合U;步骤(5)判断U是否为空,若为空则返回步骤(2),否则U取出下一个Ui并将其从U中移除,并进行步骤(6);步骤(6)判断Ui节点是否正在进行反压,若是返回步骤(5),否则进行步骤(7)~(8);步骤(7)Ui节点的发射速度降为当前的V’,V’为系统预设的反压梯值;若Ui是第一次反压,则记录Ui的初始速度originV,并保存到Ui本地;步骤(8)Ui节点将自身反压状态设置为True,返回步骤(5);步骤(9)判断Taski是否负载过轻且持续sentivity,若是则进行步骤(10),否则进行步骤(2),sentivity为系统预设的敏感度值;步骤(10)获取Taski的上游节点集合U;步骤(11)若U为空,返回步骤(2),否则U取出下一个节点Ui并将其从U中移除;步骤(12)判断Ui节点是否处于反压状态,若反压状态为True,则进行步骤(13),否则返回步骤(11);步骤(13)Ui节点的发射速度降为当前的1/V’;步骤(14)判断Ui是否恢复到最初始的速度originV,若是则进行步骤(15),否则进行步骤(11);步骤(15)Ui节点将自身反压状态设置为False,返回步骤(11)。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江工业大学,未经浙江工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201710140963.5/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top