[发明专利]一种hadoop任务监控方法及系统

说明书

技术领域

本发明涉及大数据处理的技术领域，尤其涉及一种hadoop任务监控方法，以及hadoop任务监控系统。

背景技术

关于web页面实现的任务查看功能，目前用户只能查看web页面，如果任务严重拖累集群，只能手动发现、手动杀死kill。这样用户体验感很差，浪费大量劳动力。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种hadoop任务监控方法，其自动实时监控hadoop集群的每个任务的资源占用情况，发现任务占用资源过多将会自动关闭任务。

本发明的技术方案是：这种hadoop任务监控方法，该方法包括以下步骤：

(1)开始，执行初始化的操作；

(2)获取用户白名单white users：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；

(3)获取任务白名单white tasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；

(4)获取正在运行的任务task set：通过hadoop的api获取任务集合；

(5)判断task set是否为空，是则执行步骤(6)，否则执行步骤(8)；

(6)从task set中移出一个任务task：从task set中取出一个任务；

(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；

(8)结束。

本发明通过整个过程自动判定执行，准实时保护hadoop系统的安全，自动实时监控hadoop集群的每个任务的资源占用情况，发现任务占用资源过多将会自动关闭任务。

还提供了一种hadoop任务监控系统，该系统包括：

初始化模块，其配置来执行初始化的操作；

获取用户白名单模块，其配置来通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；

获取任务白名单模块，其配置来通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；

获取正在运行的任务模块，其配置来通过hadoop的api获取任务集合；

判断模块，其配置来判断task set是否为空，是则执行移出模块，否则结束；

移出模块，其配置来从task set中移出一个任务task：从task set中取出一个任务；

检查模块，其配置来检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到判断模块。

附图说明

图1所示为根据本发明的hadoop任务监控方法的流程图。

图2所示为根据本发明的hadoop任务监控方法的步骤(7)的流程图。

具体实施方式

如图1所示，这种hadoop任务监控方法，该方法包括以下步骤：

(1)开始，执行初始化的操作；

(2)获取用户白名单white users：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；

(3)获取任务白名单white tasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；

(4)获取正在运行的任务task set：通过hadoop的api获取任务集合；

(5)判断task set是否为空，是则执行步骤(6)，否则执行步骤(8)；

(6)从task set中移出一个任务task：从task set中取出一个任务；

(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；

(8)结束。

本发明通过整个过程自动判定执行，准实时保护hadoop系统的安全，自动实时监控hadoop集群的每个任务的资源占用情况，发现任务占用资源过多将会自动关闭任务。

另外，如图2所示，所述步骤(7)包括以下分步骤：

(7.1)初始化任务信息；

(7.2)判断提交任务的用户是否在用户白名单中，是则执行步骤(7.3)，否则执行步骤(7.8)；

(7.3)判断该任务是否为白名单任务，如果是则放弃检查，执行步骤(7.9)，否则执行步骤(7.4)；

(7.4)判断检查任务的map数是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.5)；