[发明专利]资源复用方法、装置、终端和计算机可读存储介质

说明书

本发明实施例提出一种资源复用方法、装置、终端和计算机可读存储介质，方法包括：主进程根据任务并发量向资源管理器申请多个容器资源，任务并发量包括待执行任务的数量；主进程向申请到的容器资源对应的节点管理器发送启动任务请求；启动任务请求用于触发收到启动任务请求的节点管理器对应的容器资源运行待执行任务；如果主进程接收到容器资源的任务完成信息，则向容器资源对应的节点管理器发送新的启动任务请求，直至没有需要运行的待执行任务。通过采用容器资源复用的方式，能够节省主进程在申请容器资源时带来的性能开销，降低了对分布式调度系统的访问压力，实现集群的高吞吐量和高可用性。

技术领域

本发明涉及资源复用技术领域，尤其涉及一种资源复用方法、装置、终端和计算机可读存储介质。

背景技术

在现有技术中，开源的批处理分布式计算引擎MapReduce通过客户端向分布式调度系统Yarn提交作业，分布式调度系统Yarn负责为作业启动主进程。主进程负责为各个任务向分布式调度系统Yarn申请资源并启动容器资源执行。但是该方法存在一定的缺陷。一方面，由于分布式调度系统Yarn必须为每一个任务启动一个容器资源，这将使得作业运行时间增加一大笔任务调度开销。另一方面，当主进程因为异常挂掉后，它从日志中恢复已经运行完成的任务，但是正在运行的各个任务会被分布式调度系统Yarn清除，这将导致很大的资源浪费，延长作业的运行时间。

在背景技术中公开的上述信息仅用于加强对本发明的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。

发明内容

本发明实施例提供一种资源复用方法、装置、终端和计算机可读存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种资源复用方法，包括：

主进程根据任务并发量向资源管理器申请多个容器资源，所述任务并发量包括待执行任务的数量；

所述主进程向申请到的所述容器资源对应的节点管理器发送启动任务请求；所述启动任务请求用于触发收到所述启动任务请求的节点管理器对应的容器资源运行所述待执行任务；

如果所述主进程接收到所述容器资源的任务完成信息，则向所述容器资源对应的节点管理器发送新的启动任务请求，直至没有需要运行的待执行任务。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，还包括：

所述主进程启动远程过程调用服务器，并将所述远程过程调用服务器的地址写到协调服务节点上，以使各所述容器资源通过获取所述协调服务节点上的所述远程过程调用服务器的地址与所述主进程保持通信；

在所述主进程重新启动的状态下，所述主进程将所述远程过程调用服务器的新地址写到所述协调服务节点上，并采用所述远程过程调用服务器的新地址重新与等待中的容器资源建立通信；所述等待中的容器资源包括在所述主进程重新启动前与所述主进程通信且存在尚未运行完成的任务的容器资源。

结合第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述主进程将所述远程过程调用服务器的新地址写到所述协调服务节点上，并重新与等待中容器资源建立通信包括：

所述主进程新建协调服务节点，并将所述远程过程调用服务器的新地址写到新建的协调服务节点上；

所述主进程采用所述远程过程调用服务器的新地址与所述等待中的容器资源重新建立通信，以使所述等待中的容器资源继续运行尚未运行完成的任务。

结合第一方面，本发明实施例在第一方面的第三种实现方式中，如果所述主进程接收到所述容器资源的任务完成信息，则向所述容器资源对应的节点管理器发送新的启动任务请求，包括：

所述主进程接收各所述容器资源持续发送的心跳信息，所述心跳信息包括所述任务完成信息或任务正在运行信息；