[发明专利]一种深度学习模型训练容错方法、系统、终端及存储介质

说明书

本发明提供一种深度学习模型训练容错方法、系统、终端及存储介质，包括：通过设置内部事件实时将模型状态数据保存至容器所在物理节点；获取异常容器的配置信息；获取所述模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象；利用kubernetes根据所述容器对象恢复容器，读取所述恢复容器的模型状态数据恢复容器训练状态。本发明可以最大限度的将训练过程恢复到发生异常前的状态，将异常带来的损失降到最低，极大弥补了容器不稳定在深度学习领域带来的问题。同时该发明极大的提高了aistation在同类产品中的竞争力。

技术领域

本发明涉及服务器测试技术领域，具体涉及一种深度学习模型训练容错方法、系统、终端及存储介质。

背景技术

深度学习训练过程在容器中进行，是当前主流的技术方向，尤其是kubernetes这一优秀的容器管理平台的出现，让这种技术方案被更多的企业和个人所接受，而且是产品化的一个主要技术。kubernetes对于容器的调度，自动运维功能，让训练任务可以更容易的在容器运行，但是现在有一个比较严重的问题，就是容器相比较虚拟机，物理机，它的稳定性还是比较差的，如果训练任务在容器中运行，则必须要承担容器异常，训练被终止的风险。可是训练任务有时候周期会比较长，如果训练到末尾容器异常，那么之前的训练则可能前功尽弃，需要重新再来，这种成本付出是很多企业和个人无法忍受的。

因此，急需一种具有高容错性的深度学习训练模型。

发明内容

针对现有技术的上述不足，本发明提供一种深度学习模型训练容错方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种深度学习模型训练容错方法，包括：

通过设置内部事件实时将模型状态数据保存至容器所在物理节点；

获取异常容器的配置信息；

获取所述模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象；

利用kubernetes根据所述容器对象恢复容器，读取所述恢复容器的模型状态数据恢复容器训练状态。

进一步的，所述获取异常容器的配置信息，包括：

读取etcd组件中容器资源的配置信息；

从所述配置信息中筛选异常容器的资源配置信息和所在物理节点IP信息。

进一步的，所述获取模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象，包括：

获取所述异常容器的模型状态数据的存储路径信息；

将所述存储路径信息写入容器对象的挂载路径信息。

进一步的，所述利用kubernetes根据所述容器对象恢复容器，包括：

将所述容器对象插入kubernetes调度队列；

利用kubelet组件从队列中获取所述容器对象的定义信息；

根据所述定义信息在相应物理节点上创建容器。

进一步的，在所述利用kubernetes根据所述容器对象恢复容器之前，所述方法还包括：

确认所述容器对象对应的物理节点资源不足；

选取所述对应物理节点中与所述容器对象资源匹配度最高的低级容器；

删除所述低级容器释放所述对应物理节点资源；

通过锁定所述对应物理节点，不再向所述对应物理节点调度新容器；

确认容器恢复完成，解除对所述对应物理节点的锁定。