[发明专利]一种深度学习模型训练容错方法、系统、终端及存储介质

权利要求书

1.一种深度学习模型训练容错方法，其特征在于，包括：

通过设置内部事件实时将模型状态数据保存至容器所在物理节点；

获取异常容器的配置信息；

获取所述模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象；

利用kubernetes根据所述容器对象恢复容器，读取所述恢复容器的模型状态数据恢复容器训练状态；

所述利用kubernetes根据所述容器对象恢复容器，包括：

将所述容器对象插入kubernetes调度队列；

利用kubelet组件从队列中获取所述容器对象的定义信息；

根据所述定义信息在相应物理节点上创建容器。

2.根据权利要求1所述的深度学习模型训练容错方法，其特征在于，所述获取异常容器的配置信息，包括：

读取etcd组件中容器资源的配置信息；

从所述配置信息中筛选异常容器的资源配置信息和所在物理节点IP信息。

3.根据权利要求1所述的深度学习模型训练容错方法，其特征在于，所述获取模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象，包括：

获取所述异常容器的模型状态数据的存储路径信息；

将所述存储路径信息写入容器对象的挂载路径信息。

4.根据权利要求1所述的深度学习模型训练容错方法，其特征在于，在所述利用kubernetes根据所述容器对象恢复容器之前，所述方法还包括：

确认所述容器对象对应的物理节点资源不足；

选取所述对应物理节点中与所述容器对象资源匹配度最高的低级容器；

删除所述低级容器释放所述对应物理节点资源；

通过锁定所述对应物理节点，不再向所述对应物理节点调度新容器；

确认容器恢复完成，解除对所述对应物理节点的锁定。

5.一种深度学习模型训练容错系统，其特征在于，包括：

数据保存单元，配置用于通过设置内部事件实时将模型状态数据保存至容器所在物理节点；

配置获取单元，配置用于获取异常容器的配置信息；

容器定义单元，配置用于获取所述模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象；

容器恢复单元，配置用于利用kubernetes根据所述容器对象恢复容器，读取所述恢复容器的模型状态数据恢复容器训练状态；

所述容器恢复单元包括：

调度插队模块，配置用于将所述容器对象插入kubernetes调度队列；

定义读取模块，配置用于利用kubelet组件从队列中获取所述容器对象的定义信息；

容器创建模块，配置用于根据所述定义信息在相应物理节点上创建容器。

6.根据权利要求5所述的深度学习模型训练容错系统，其特征在于，所述系统还包括：

资源确认模块，配置用于确认所述容器对象对应的物理节点资源不足；

匹配查找模块，配置用于选取所述对应物理节点中与所述容器对象资源匹配度最高的低级容器；

资源释放模块，配置用于删除所述低级容器释放所述对应物理节点资源；

节点锁定模块，配置用于通过锁定所述对应物理节点，不再向所述对应物理节点调度新容器；

锁定解除模块，配置用于确认容器恢复完成，解除对所述对应物理节点的锁定。

7.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。