[发明专利]一种基于Agent的多环境应用并行的云平台及其工作方法

摘要

本发明公开了一种基于Agent的多环境应用并行的云平台及其工作方法，属于云计算领域。本发明针对Yarn运行环境的限定性问题，建立由Yarn和Docker组成的多环境应用平台，实现系统可以同一时间开展不同环境下的任务的目标。同时考虑到目前Yarn和Docker的资源管理存在差异，传统的方法只是将两者直接捆绑使用，破坏了原有的资源系统和统一时序原则，所以本发明添加DYbox Proxy，这可以将两者资源管理系统整合起来，避免资源泄露，进而达到大幅降低了不同环境下的运维成本的目的。

主权项

一种基于Agent的多环境应用并行的云平台，其特征在于，包含DYbox和Docker两个模块：所述Agent是一个将DYbox和Docker资源管理器进行整合，实现资源高效利用的模块；所述DYbox是程序运行模块，它包含DYbox Client、ResourceManager、DYbox Master、DYbox Driver、NodeManager、Container、DYbox Proxy、HDFS和State Server；所述DYbox Client是DYbox客户端，它用于接收用户的任务，并将用户任务转化成DAG任务并将其细分为各个子DAG任务，以及向ResourceManager提交和停止子DAG任务；所述ResourceManager是资源管理器，它用于接收来自各个NodeManager的资源汇报信息，并根据这些信息将资源分配给各个子DAG任务程序；所述DYbox Master是DYbox主控模块，它用于向ResourceManager申请资源，并将资源分配给Container；所述DYbox Driver是DYbox驱动器，它用于控制DAG任务时序和执行用户代码；所述NodeManager是DYbox节点管理器，它用于管理集群中单个计算节点，包括计算节点与ResourceManager保持通信、监督计算节点Container的生命周期和资源使用；所述Container是容器，它用于采用DYbox Master向ResourceManager申请的集群资源安装从Docker Engine获取的Docker镜像，所述Docker镜像由DYbox Master与NodeManager通信来进行启动；所述DYbox Proxy是DYbox代理服务器，它用于协调DYbox和Docker进行工作，从属于DYbox Proxy的Agent单元用于将DYbox的命令传输给Docker Engine；所述HDFS是Hadoop分布式文件系统，它用于接收、存储和传送集群数据；所述State Server是状态服务器，它用于维护Docker Engine的健康状态信息，记录可运行任务的机器列表；所述Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后传到DYbox上，实现虚拟化，它包含Docker Registry、Docker Engine和Jenkins；所述Docker Registry是Docker注册器，它用于存储Docker镜像，实现Docker镜像内部的版本控制；所述Docker Engine是Docker引擎，它作为Container执行引擎，从Docker Registry获得Docker镜像并启动Container；所述Jenkins是代码执行平台，它用于在应用代码更新之后测试、打包、产生Docker镜像，并将其上传给Docker Registry，完成应用的自动发行。