[发明专利]分布式集群负载的控制方法及装置在审
| 申请号: | 202111320089.6 | 申请日: | 2021-11-09 |
| 公开(公告)号: | CN116107731A | 公开(公告)日: | 2023-05-12 |
| 发明(设计)人: | 杨卓荦;蔡适择 | 申请(专利权)人: | 顺丰科技有限公司 |
| 主分类号: | G06F9/50 | 分类号: | G06F9/50 |
| 代理公司: | 深圳紫藤知识产权代理有限公司 44570 | 代理人: | 万培 |
| 地址: | 518000 广东省深圳市南山区学府路(以南)*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分布式 集群 负载 控制 方法 装置 | ||
1.一种分布式集群负载的控制方法,其特征在于,应用于分布式集群系统,所述分布式集群系统包括系统资源管理器及与所述系统资源管理器连接的多个计算机节点,所述分布式集群负载的控制方法包括:
在启动所述分布式集群系统时获取所述分布式集群系统中目标节点的内核默认参数,其中,所述目标节点为所述多个计算机节点中的一个节点,所述内核默认参数包括内存回收趋势控制参数、内存回收脏数据阈值以及脏数据到期时间;
调节所述目标节点的所述内核默认参数至预设内核参数,以减少所述目标节点的操作系统占用内存;
对调参后的所述分布式集群系统中各个计算机节点进行负载控制。
2.根据权利要求1所述的分布式集群负载的控制方法,其特征在于,所述对调参后的所述分布式集群系统中各个计算机节点进行负载控制,包括:
获取调参后的所述分布式集群系统中各个计算机节点的任务负载;
判断各个计算机节点中是否存在第一计算节点,其中,所述第一计算节点的任务负载满足高负载条件;
若各个计算机节点中存在所述第一计算节点时,获取任务负载满足低负载条件的第二计算节点;
将所述第一计算节点上运行的任务迁移至所述第二计算节点上运行。
3.根据权利要求2所述的分布式集群负载的控制方法,其特征在于,所述高负载条件包括:CPU使用率高于第一预设CPU使用率,且内存使用率高于第一预设内存使用率;所述低负载条件包括:CPU使用率低于第二预设CPU使用率,且内存使用率低于第二预设内存使用率。
4.根据权利要求1所述的分布式集群负载的控制方法,其特征在于,其中,所述内存回收趋势控制参数表示内核回收用于文件目录和索引节点缓存的倾向,
所述调节所述目标节点的所述内核默认参数至预设内核参数,以减少所述目标节点的操作系统占用内存,包括:
将所述内存回收趋势控制参数的默认值增加至第一预设值。
5.根据权利要求1所述的分布式集群负载的控制方法,其特征在于,所述调节所述目标节点的所述内核默认参数至预设内核参数,以减少所述目标节点的操作系统占用内存,包括:
将所述目标节点的内存回收脏数据阈值的默认值减少至第二预设值,其中,所述目标节点上运行的进程在脏数据占用空间与目标节点的系统内存之间的占比达到所述第二预设值时,将脏数据写回所述目标节点上的磁盘。
6.根据权利要求1所述的分布式集群负载的控制方法,其特征在于,所述调节所述目标节点的所述内核默认参数至预设内核参数,以减少所述目标节点的操作系统占用内存,包括:
将所述脏数据到期时间的默认值减少至第三预设值,其中,所述目标节点在数据的停留时间超过所述第三预设值时,被确认为脏数据并写回所述目标节点上的磁盘。
7.根据权利要求1所述的分布式集群负载的控制方法,其特征在于,所述目标节点中包括节点资源管理器,所述节点资源管理器用于与所述系统资源管理器通信,并管理所在的计算机节点,所述对调参后的所述分布式集群系统中各个计算机节点进行负载控制,之前,包括:
调节所述节点资源管理器的节点资源调度参数,以提升所述目标节点的配置容量。
8.根据权利要求7所述的分布式集群负载的控制方法,其特征在于,所述节点资源调度参数包括可调度虚拟CPU数量,所述调节所述节点资源管理器的节点资源调度参数,以提升所述目标节点的配置容量,包括:
获取所述目标节点的可调度虚拟CPU数量的默认值;
将所述可调度虚拟CPU数量的默认值增大至第四预设值。
9.根据权利要求7所述的分布式集群负载的控制方法,其特征在于,所述节点资源调度参数包括可调度内存容量,所述调节所述节点资源管理器的节点资源调度参数,以提升所述目标节点的配置容量,包括:
获取所述目标节点的可调度内存容量的默认值;
将所述可调度内存容量的默认值增大至第五预设值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于顺丰科技有限公司,未经顺丰科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111320089.6/1.html,转载请声明来源钻瓜专利网。





