[发明专利]集群状态监管方法及装置

说明书

本发明提供了一种集群状态监管方法及装置，其中，方法包括：通过yarn客户端获取当前资源管理平台上Flink Session的Appid；若没有，启动Flink Session，判断当前engine节点是否为leader节点；若是，判断当前engine节点是否处于engine自动托管状态；若是，部署Flink Session；启动状态监测器，对Flink Session的健康状态进行轮询。其通过创建Flink Session管理组件，实现对Flink Session的启动、停止等功能，同时通过状态监测器对Flink Session进行周期性的监控，保证Flink Session的稳定健康的运行。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种集群状态监管方法及装置。

背景技术

在客户的产生环境中，大多会使用的yarn-session模式提交任务，在运行过程中会预先启动集群使得作业不需要反复的申请资源，所以一般适用于启动延迟敏感的短期作业，如交互式查询、同步任务等。这一模式虽然能够完成对flink任务的提交，但是常出现两个问题：1)flink session长时间运行在yarn上会出现夯死的状态；2)由于作业之间公用资源，在任务量特别大的情况下，会带来如并发、资源竞争等方面的问题从而导致Jobmanager挂掉的问题。

发明内容

针对上述问题，本发明提供了一种集群状态监管方法及装置，有效解决现有yarn-session模式任务提交过程中容易出现的夯死状态、Jobmanager挂掉等问题。

本发明提供的技术方案如下：

一方面，本发明提供了一种集群状态监管方法，应用于flink on yarn集群模式，所述集群状态监管方法包括：

通过yarn客户端获取当前资源管理平台上Flink Session的Appid；

若没有获取到Flink Session的Appid，进入启动Flink Session的步骤，判断当前engine节点是否为leader节点；

若是，进一步判断当前engine节点是否处于engine自动托管状态；

若是，部署Flink Session；

Flink Session部署成功后启动状态监测器，对Flink Session的健康状态进行轮询。

进一步优选地，所述集群状态监管方法中还包括对Flink Session的健康状态进行标记的步骤，包括：

所述通过yarn客户端获取当前资源管理平台上Flink Session的Appid中，若获取到Flink Session的Appid，将该Flink Session的健康状态标记为HEALTHY；

或，所述判断当前engine节点是否为leader节点中，若判断当前engine节点不为leader节点，将该Flink Session的健康状态标记为UNHEALTHY；

或，所述判断当前engine节点是否处于engine自动托管状态中，若判断当前engine节点不处于engine自动托管状态，将该Flink Session的健康状态标记为UNHEALTHY；

或，所述部署Flink Session中，若Flink Session部署不成功，将该FlinkSession的健康状态标记为UNHEALTHY。

进一步优选地，所述Flink Session部署成功后启动状态监测器，对FlinkSession的健康状态进行轮询中，包括：

判断Flink Session的健康状态是否被标记为HEALTHY；

若是，判断Flink Session的运行状态是否为running；