[发明专利]数据资源预分配及调度异常自动化处理方法和相关设备

说明书

本发明实施例公开了一种数据资源预分配及调度异常自动化处理方法和相关设备，方法包括：对企业各部门所占资源比进行预评估；根据预评估对部门可用资源进行周期性自动调整；对资源处理过程中的程序异常进行捕获并自动化处理。实现了企业合理分配数据资源，提高了数据资源利用率及数据流转程序调度的稳定性和及时性，避免了局部任务卡壳导致的依赖调度任务的延时，以及缓解了运维人员的压力。

技术领域

本发明涉及大数据资源分配及调度异常监控技术领域，更具体地说是数据资源预分配及调度异常自动化处理方法和相关设备。

背景技术

随着企业规模的不断扩大，无形中积累了大量的数据资产，将这些数据资产充分快速利用是一个公司欣欣向荣的源泉，因此搭建属于企业自己的数据中台支撑各业务部门所需要数据资产指导企业的发展方向是一个企业不断壮大的必经之路，传统企业数据中台基于大规模物理机搭建大数据集群，过程中需要配置大量的参数而且需要根据实际的应用，数据量分布进行生产上的调优，这很大程度上取决于集群运维人员所拥有的经验，没有一个量化的指标。

再者，当数据中台搭建好后，由于集群资源限制，网络延迟等不确定因素，导致程序异常出现不可预知的错误，每当这个时候，往往需要人工去处理排错，尤其遇到程序之间是依赖调度的情况，会影响日常企业总结所需要的每日汇总数据。

发明内容

本发明的目的在于克服现有技术的不足，提供数据资源预分配及调度异常自动化处理方法和相关设备，旨在实现企业合理分配数据资源，提高数据资源利用率及数据流转程序调度的稳定性和及时性，避免局部任务卡壳导致的依赖调度任务的延时，以及缓解运维人员的压力。

为实现上述目的，本发明采用以下技术方案：

第一方面，数据资源预分配及调度异常自动化处理方法，包括：

对企业各部门所占资源比进行预评估；

根据预评估对部门可用资源进行周期性自动调整；

对资源处理过程中的程序异常进行捕获并自动化处理。

其进一步技术方案为：所述对企业各部门所占资源比进行预评估，包括：

获取各业务部门数据接入的数据源头表信息及每日增量信息；

将数据源头表信息及每日增量信息发送至分布式文件系统；

分布式文件系统统计出企业各部门各租户下的数据量及涉及计算的所需要的资源；

输出企业各部门所占资源比。

其进一步技术方案为：所述根据预评估对部门可用资源进行周期性自动调整，包括：

企业各部门所占资源比预测下一个周期的资源瓶颈；

在下一个周期的资源瓶颈之前将资源配比信息更新写入YARN容量调度配置中。

其进一步技术方案为：所述对资源处理过程中的程序异常进行捕获并自动化处理，包括：

对历史应用运行时长的统计学分析，以捕获运行时间的异常值；

若异常值超出设定范围，则判定为异常程序；

对异常程序进行日志分析，以得到Exception特征信息；

将错误信息与解决方案构建映射表；

当出现异常时通过映射表查找出对应的解决方案并自动处理。

第二方面，数据资源预分配及调度异常自动化处理装置，包括预评估单元、周期性资源调整单元以及异常捕获处理单元；

所述预评估单元，用于对企业各部门所占资源比进行预评估；