[发明专利]一种感知网络流量的YARN调度方法及系统

摘要

本发明公开了一种感知网络流量的YARN调度方法及系统，包括：节点检测节点的网络流量，周期性地将网络流量发送给资源管理器，由资源管理器记录每个节点当前的网络流量信息，收到节点汇报的网络流量信息时，对这个值进行更新，在节点移除时，删掉该节点的网络流量信息；在应用向资源管理器申请容器时，为容器设置类型，以便资源管理器能识别容器的类型；在调度方面，根据当前节点与整个集群的网络流量信息，判断出当前节点的网络流量负载情况，选择合适的应用程序分配资源。本发明提供的调度方法能均衡集群中节点的网络负载，减少MapReduce应用的执行时间。

主权项

1.一种感知网络流量的YARN调度方法，其特征在于，包括如下步骤：S1、应用程序在向YARN资源管理器申请Container时设置Container的类型；S2、对集群中的每个节点，采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；S3、资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；S4、当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Container分配资源。