[发明专利]一种提交并守护spark任务的方法及装置

摘要

本发明提供一种提交并守护spark任务的方法及装置，方法包括：部署及装置Docker集群环境；基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。根据本发明的方案，解决了当spark集群和提交spark任务的应用程序不在同一台机器上时提交spark任务困难的问题。