[发明专利]一种hadoop任务监控方法及系统

权利要求书

1.一种hadoop任务监控方法，其特征在于：该方法包括以下步骤：

(1)开始，执行初始化的操作；

(2)获取用户白名单white users：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；

(3)获取任务白名单white tasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；

(4)获取正在运行的任务task set：通过hadoop的api获取任务集合；

(5)判断task set是否为空，是则执行步骤(6)，否则执行步骤(8)；

(6)从task set中移出一个任务task：从task set中取出一个任务；

(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；

(8)结束。

2.根据权利要求1所述的hadoop任务监控方法，其特征在于：所述步骤

(7)包括以下分步骤：

(7.1)初始化任务信息；

(7.2)判断提交任务的用户是否在用户白名单中，是则执行步骤(7.3)，否则执行步骤(7.8)；

(7.3)判断该任务是否为白名单任务，如果是则放弃检查，执行步骤(7.9)，否则执行步骤(7.4)；

(7.4)判断检查任务的map数是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.5)；

(7.5)判断检查任务的reduce数是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.6)；

(7.6)判断检查任务的输出量是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.7)；

(7.7)判断检查任务的运行时间是否超出规定的长度，如果是则执行步骤(7.8)，否则执行步骤(7.9)；

(7.8)杀死task，给用户发送邮件：判断该任务非法，杀死该任务并给提交该任务的用户发送通知邮件；

(7.9)单个任务检查结束：单个任务检查结束，任务的部分信息记入数据库。

3.根据权利要求2所述的hadoop任务监控方法，其特征在于：所述步骤(7.4)中，map数为20000个。

4.根据权利要求3所述的hadoop任务监控方法，其特征在于：所述步骤(7.5)中，reduce数是1000个。

5.根据权利要求4所述的hadoop任务监控方法，其特征在于：所述步骤(7.6)中，任务的输出量是5T。

6.根据权利要求5所述的hadoop任务监控方法，其特征在于：所述步骤(7.7)中，规定的长度是10小时。

7.一种hadoop任务监控系统，其特征在于：该系统包括：

初始化模块，其配置来执行初始化的操作；

获取用户白名单模块，其配置来通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；

获取任务白名单模块，其配置来通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；

获取正在运行的任务模块，其配置来通过hadoop的api获取任务集合；

判断模块，其配置来判断task set是否为空，是则执行移出模块，否则结束；

移出模块，其配置来从task set中移出一个任务task：从task set中取出一个任务；

检查模块，其配置来检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到判断模块。