[发明专利]数据资源预分配及调度异常自动化处理方法和相关设备

权利要求书

1.数据资源预分配及调度异常自动化处理方法，其特征在于，包括：

对企业各部门所占资源比进行预评估；

根据预评估对部门可用资源进行周期性自动调整；

对资源处理过程中的程序异常进行捕获并自动化处理。

2.根据权利要求1所述的数据资源预分配及调度异常自动化处理方法，其特征在于，所述对企业各部门所占资源比进行预评估，包括：

获取各业务部门数据接入的数据源头表信息及每日增量信息；

将数据源头表信息及每日增量信息发送至分布式文件系统；

分布式文件系统统计出企业各部门各租户下的数据量及涉及计算的所需要的资源；

输出企业各部门所占资源比。

3.根据权利要求1所述的数据资源预分配及调度异常自动化处理方法，其特征在于，所述根据预评估对部门可用资源进行周期性自动调整，包括：

企业各部门所占资源比预测下一个周期的资源瓶颈；

在下一个周期的资源瓶颈之前将资源配比信息更新写入YARN容量调度配置中。

4.根据权利要求1所述的数据资源预分配及调度异常自动化处理方法，其特征在于，所述对资源处理过程中的程序异常进行捕获并自动化处理，包括：

对历史应用运行时长的统计学分析，以捕获运行时间的异常值；

若异常值超出设定范围，则判定为异常程序；

对异常程序进行日志分析，以得到Exception特征信息；

将错误信息与解决方案构建映射表；

当出现异常时通过映射表查找出对应的解决方案并自动处理。

5.数据资源预分配及调度异常自动化处理装置，其特征在于，包括预评估单元、周期性资源调整单元以及异常捕获处理单元；

所述预评估单元，用于对企业各部门所占资源比进行预评估；

所述周期性资源调整单元，用于根据预评估对部门可用资源进行周期性自动调整；

所述异常捕获处理单元，用于对资源处理过程中的程序异常进行捕获并自动化处理。

6.根据权利要求5所述的数据资源预分配及调度异常自动化处理装置，其特征在于，所述预评估单元包括获取模块、发送模块、统计模块以及输出模块；

所述获取模块，用于获取各业务部门数据接入的数据源头表信息及每日增量信息；

所述发送模块，用于将数据源头表信息及每日增量信息发送至分布式文件系统；

所述统计模块，用于分布式文件系统统计出企业各部门各租户下的数据量及涉及计算的所需要的资源；

所述输出模块，用于输出企业各部门所占资源比。

7.根据权利要求5所述的数据资源预分配及调度异常自动化处理装置，其特征在于，所述周期性资源调整单元包括预测模块以及更新模块；

所述预测模块，用于企业各部门所占资源比预测下一个周期的资源瓶颈；

所述更新模块，用于在下一个周期的资源瓶颈之前将资源配比信息更新写入YARN容量调度配置中。

8.根据权利要求5所述的数据资源预分配及调度异常自动化处理装置，其特征在于，所述异常捕获处理单元包括捕获模块、判定模块、分析模块、构建模块以及查找模块；

所述捕获模块，用于对历史应用运行时长的统计学分析，以捕获运行时间的异常值；

所述判定模块，用于若异常值超出设定范围，则判定为异常程序；

所述分析模块，用于对异常程序进行日志分析，以得到Exception特征信息；

所述构建模块，用于将错误信息与解决方案构建映射表；

所述查找模块，用于当出现异常时通过映射表查找出对应的解决方案并自动处理。

9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任意一项所述的数据资源预分配及调度异常自动化处理方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如权利要求1～4任意一项所述的数据资源预分配及调度异常自动化处理方法。