[发明专利]一种面向流式数据的自动伸缩及迁移的方法及装置

摘要

本发明涉及一种面向流式数据的自动伸缩及迁移方法，包括以下步骤：调度管理器包括收集模块、调度模块和监控模块，所述调度模块根据待调度作业的信息生成包括多个处理单元的处理单元队列;调度模块将所有处理单元分别分配给对应的物理节点，执行器在处理单元所在的物理节点上创建一个linux容器；收集模块通过监控linux容器的资源利用率得到处理单元的资源利用率；监控模块调整处理单元的资源配额；监控模块将处理单元迁移到其它的资源利用率低的物理节点上。本发明根据实际负载动态调整资源，避免资源浪费，提高了资源利用率，并提出一种处理单元迁移方法，在物理节点负载明显不均衡时，迁移特定的处理节点，实现了面向流式数据的动态负载均衡。

主权项

一种面向流式数据的自动伸缩及迁移方法，其特征在于，包括以下步骤： 步骤1：调度管理器包括收集模块、调度模块和监控模块，所述调度模块定时从存储待调度作业的调度队列中实时获取待调度作业，并根据待调度作业的信息生成包括多个处理单元的处理单元队列； 步骤2：调度管理器中的调度模块将所有处理单元分别分配给对应的物理节点，执行器在启动处理单元时，先在该处理单元所在的物理节点上创建一个linux容器，然后在linux容器内部启动处理单元，所述调度管理器与每个执行器分别设置于不同的物理节点上; 步骤3:收集模块通过监控linux容器的资源利用率得到处理单元的资源利用率，收集模块将收集到的处理单元的资源利用率发送给监控模块； 步骤4：监控模块判断所述资源利用率是否大于预定的扩容阈值，或者小于预定的缩容阈值，根据判断结果调整处理单元的资源配额； 步骤5：监控模块判断所述资源利用率是否满足处理单元的迁移条件，如果满足，将处理单元迁移到其它的资源利用率低的物理节点上，休眠预定时间，转入步骤3，当所有处理节点处理完毕，结束。