[发明专利]Jupyter容器内动态生成Spark端口访问的方法及设备

权利要求书

1.一种Jupyter容器内动态生成Spark端口访问的方法，其特征在于，包括：

在启动生成jupyter容器Pod时，动态生成多个不重复的nodePort端口；

基于所述nodePort端口，生成绑定jupyter pod的service，并保持port、targetPort、nodePort一致；

基于保持一致的port、targetPort、nodePort，在jupyter容器内直接使用spark onyarn的yarn-client模式运行spark作业，并获取交互式输出。

2.根据权利要求1所述的方法，其特征在于，所述动态生成多个不重复的nodePort端口，包括：

通过yaml文件使用k8s-client生成k8s集群pod；

根据端口全局占用记录表，查询还未被使用的可用NodePort，并在所述未被使用的可用nodeport中轮询选择出适用nodeport。

3.根据权利要求1所述的方法，其特征在于，所述基于所述nodePort端口，生成绑定jupyter pod的service，并保持port、targetPort、nodePort一致，包括：

基于所述nodePort端口，通过yaml生成绑定所述jupyter容器pod的Service，并保持port、targetPort、nodePort完全一致。

4.根据权利要求1所述的方法，其特征在于，所述基于保持一致的port、targetPort、nodePort，在jupyter容器内直接使用spark on yarn的yarn-client模式运行spark作业，并获取交互式输出，包括：

k8s集群每个节点上的nodePort端口代理到jupyter容器pod的对应service服务中，以使k8s集群外部客户端直接访问service入口；

在jupyter容器内直接使用spark on yarn的yarn-client模式运行spark作业，并获取交互式输出。

5.根据权利要求4所述的方法，其特征在于，所述k8s集群每个节点上的nodePort端口代理到jupyter容器pod的对应service服务中，以使k8s集群外部客户端直接访问service入口，包括：

Spark的Driver运行在k8s的Pod上，通过Service把targetPort映射到Port，进一步映射到nodePort，打通外部客户端访问k8s集群内部的入口，以使k8s集群外部客户端直接访问service入口。

6.根据权利要求5所述的方法，其特征在于，所述在jupyter容器内直接使用spark onyarn的yarn-client模式运行spark作业，并获取交互式输出，包括：

将Jupyter Pod作为初始化SparkContext的Client端，与Spark集群进行通信交互；

通过Spark的ApplicationMaster向yarn的ResourceManager申请获取executor资源，AM启动Executor后，yarn NodeManager管理的已分配使用的Executor反向注册到对应申请的Driver端；

本地Driver就和申请的executor container通信，来进行各个Task任务调度；以及，Executor将各个Task的运行状态汇报给Driver端，实现yarn-client模式的交互式开发。

7.一种Jupyter容器内动态生成Spark端口访问的设备，其特征在于，包括：处理器，以及与处理器相连接的存储器；

存储器用于存储计算机程序，计算机程序至少用于执行上述权利要求1-6任一所述的Jupyter容器内动态生成Spark端口访问的方法；

处理器用于调用并执行存储器中的计算机程序。