[发明专利]一种面向不同类型负载的多租户资源优化调度方法

摘要

本发明涉及一种面向不同类型负载的多租户资源优化调度方法，包含以下步骤：1、系统租户提交作业并添加到作业队列中；2、采集作业负载信息发送到资源管理器；3、资源管理器根据作业负载信息判定作业不同负载类型，将类型信息发送给作业调度器；4、作业调度器根据不同负载类型执行作业调度，若为计算密集型作业直接在该节点调度，若为I/O密集型作业则对其进行延迟等待；5、汇总作业调度决策信息发送给调度重构决策器，重构目标计算节点，根据最终决策结果进行作业调度。该方法实现多租户共享集群，即减少了建立独立集群的代价，同时又使得多租户间可以共享更多的大数据集资源。面向不同类型负载优化实现更好的数据本地性，可以很好地做到作业调度中公平性和效率之间的权衡，提高整个集群的计算性能如吞吐率、作业响应时间等。

主权项

1.一种面向不同类型负载的多租户资源优化调度方法，其特征在于包括以下步骤：/n第一步骤：使用多租户系统的租户提交作业到作业队列中；/n第二步骤：采集作业负载信息发送到资源管理器；/n第三步骤：资源管理器根据作业负载信息分别得到Map-shuffle阶段数据读写率和磁盘I/O带宽大小，通过比较两者之间大小关系判定作业不同负载类型，将类型信息发送给作业调度器；/n第四步骤：作业调度器根据不同负载类型确定作业的调度方式；如果是计算密集型作业则直接在当前节点调度执行，如果是I/O密集型作业则执行延迟调度；汇总调度决策信息发送给调度重构决策器；/n第五步骤：调度重构决策器根据决策信息重构目标计算节点，得到最终调度结果并执行作业调度；/n第六步骤：当有新的用户提交作业，重复执行以上第一至第五步骤。/n