[发明专利]一种针对训练任务扩容资源不兼容的回滚方法及装置

权利要求书

1.一种针对训练任务扩容资源不兼容的回滚方法，其特征在于，所述的方法包括：

提交训练任务脚本时，设置一个位置标签；

建立pod，执行训练任务；

当进行资源扩容后，判断扩容资源是否兼容，若否，进入下一环节；

删除扩容资源，新建一个pod；

从位置标签处再次加载并执行训练任务。

2.根据权利要求1所述的一种针对训练任务扩容资源不兼容的回滚方法，其特征在于，在训练任务首次创建时，同步设置一个标志位，当再次加载该训练任务时，若检测到该标志位状态发生变化，则该训练任务不允许执行资源扩容操作。

3.根据权利要求2所述的一种针对训练任务扩容资源不兼容的回滚方法，其特征在于，检测标志位状态发生变化的具体方法为：当发生扩容操作时，底层判断资源数是否发生变动，若发生变动，则修改标志位状态，否则不修改标志位状态。

4.根据权利要求2所述的一种针对训练任务扩容资源不兼容的回滚方法，其特征在于，当重建的训练任务运行达到高峰时，若标志位状态已经发生变化，则仍然不执行扩容操作，直至扩容不兼容的错误原因消除为止。

5.根据权利要求1或2所述的一种针对训练任务扩容资源不兼容的回滚方法，其特征在于，设置位置标签的具体方法为：在提交训练任务的脚本中，设置flags一个checkpoint的标签。

6.根据权利要求1或2所述的一种针对训练任务扩容资源不兼容的回滚方法，其特征在于，判断扩容资源是否兼容的具体方法为：

底层基于kubernetes调度GPU；

实时获取调度反馈，若捕获到底层抛出异常，则判定扩容资源不兼容。

7.一种针对训练任务扩容资源不兼容的回滚装置，其特征在于，所述的装置包括：

第一设置模块，用于在提交训练任务脚本时设置一个位置标签；

第一判断模块，用于判断扩容资源是否兼容，若否，转入回滚模块；

回滚模块，用于从位置标签处再次加载训练任务。

8.根据权利要求7所述的一种针对训练任务扩容资源不兼容的回滚装置，其特征在于，所述的装置还包括：

第二设置模块，用于在首次创建训练任务时，设置标志位；

第二判断模块，用于再次创建训练任务时，判断标志位状态是否改变，若是，转入限制模块；

限制模块，用于在训练任务进入扩容时，阻止扩容操作。