[发明专利]一种节点管理方法、装置、电子设备及存储介质

说明书

本申请提供了一种节点管理方法、装置、电子设备及存储介质，属于大数据技术领域。本申请通过在作业管理节点运行过程中，监听所述作业管理节点的运行状态；当监听到所述作业管理节点因故障退出运行时，获取在所述作业管理节点运行过程中存储的目标快照，其中，所述目标快照用于存储作业管理节点运行过程中的中间数据；基于所述目标快照对所述作业管理节点进行重启。即，通过本申请只需运行一个作业管理节点即可实现Flink在kubernetes上的高可用部署，无需同时运行多个作业管理节点，节省了服务器资源。

技术领域

本申请涉及大数据技术领域，尤其涉及一种节点管理方法、装置、电子设备及存储介质。

背景技术

Flink(分布式流数据流引擎)作为新一代的大数据处理引擎，凭借其强大的计算能力和先进的设计理念，成为当下炙手可热的技术框架，被众多互联网大公司所重视。kubernetes(容器编排引擎)是目前流行的容器编排工具，与docker(应用容器引擎)技术结合，可以提供强大的集群资源管理功能，成为容器云的主要解决方案之一。

目前，Flink在kubernetes上一种高可用部署方案是：在kubernetes上同时启动多个Flink JobManager(作业管理节点)，基于kubernetes的configmap(配置字典)，在主JobManager故障的时候切换到备JobManager上。

然而，上述方案在执行过程中，需要在kubernetes上同时启动多个JobManager才能实现Flink在kubernetes上高可用的部署，占用的资源较多。

发明内容

本申请实施例的目的在于提供一种节点管理方法、装置、电子设备及存储介质，以解决目前需要在kubernetes上同时启动多个JobManager才能实现Flink在kubernetes上高可用部署，占用的资源较多的问题。具体技术方案如下：

第一方面，提供了一种节点管理方法，所述方法包括：

在作业管理节点运行过程中，监听所述作业管理节点的运行状态；

当监听到所述作业管理节点因故障退出运行时，获取在所述作业管理节点运行过程中存储的目标快照，其中，所述目标快照用于存储作业管理节点运行过程中的中间数据；

基于所述目标快照对所述作业管理节点进行重启。

可选地，所述监听到所述作业管理节点因故障退出运行，包括：

当监听到所述作业管理节点对应的退出码，且确定所述退出码为第一值时，确定所述作业管理节点因故障退出运行。

可选地，所述方法还包括：

在所述作业管理节点所属容器启动时，确定所述容器本次启动是否为故障恢复重启；

若是，则获取在所述作业管理节点运行过程中存储的目标快照；

基于所述目标快照对所述作业管理节点进行重启。

可选地，所述方法还包括：

在所述容器启动时，记录所述容器的启动次数；

所述确定所述容器本次启动是否为故障恢复重启，包括：

获取所述容器的启动次数；

当确定所述启动次数大于预设阈值时，确定所述容器本次启动为故障恢复启动。

可选地，所述获取在所述作业管理节点运行过程中存储的目标快照，包括：

按照创建时间的先后顺序，将在所述作业管理节点运行过程中存储的多个快照进行排序；

将排在末位的所述快照确定为所述目标快照。