[发明专利]一种自动部署模型训练环境的方法和装置

说明书

本发明提供了一种自动部署模型训练环境的方法及装置，该方法包括以下步骤：安装并启动Docker及NVIDIA‑Docker；运行第一脚本以基于Docker及NVIDIA‑Docker创建镜像；运行第二脚本以基于Docker及NVIDIA‑Docker创建镜像的容器；以及创建完容器后，运行第三脚本以启动模型训练。该方法采用Docker容器来部署深度学习语音识别训练的环境，能够简化语音模型训练的环境部署的步骤，将训练数据的准备、模型的训练模块化，操作方便、可移植性强。

技术领域

本发明总体上涉及计算机领域，并且更具体地，涉及一种自动部署模型训练环境的方法和装置。

背景技术

语音转文本是一个热门的机器学习领域。然而，由于各地的人们有着不同的口音，这也是一个难以解决的问题，不过仍然可以通过深度学习实现非常不错的准确性。MozillaDeepSpeech这个GitHub项目使用TensorFlow将语音转换为文本，其实这个项目是一个基于百度DeepSpeech架构的TensorFlow实现，换句话说，这个项目就是百度的内核，谷歌的外貌。其中DeepSpeech是一个端到端的语音模型，是吴恩达带领百度团队研发出来的成果，最早发布于2014年底。

目前，官网上提供了两种部署TensorFlow深度学习框架的方式，一种是使用pip简单安装，另一种是用源码进行编译安装，由于需要依赖的类库比较多，还有对版本的要求，没有现成的自动化工具可利用，对于新手来说部署比较困难，尤其是在物理环境下部署出现问题，想恢复原系统状态就增加了额外排查问题的风险；Mozilla的深度学习语音识别工具，提供了多种部署方式，但是官网未对需要的库的版本做出说明，而且部署过程结束条理性也欠佳，需要开发者自己去尝试，效率比较低。对于没有深度学习和语音识别知识的新手，尝试部署一套语音模型训练的环境，是一件非常繁琐的事情。

发明内容

鉴于此，本发明实施例的目的在于提出一种利用Docker和NVIDIA-Docker，通过Dockerfile配置文件实现灵活地自动化创建和部署深度学习语音识别工具的方法和装置，不但提高了工作效率，而且可移植性强。

基于上述目的，本发明实施例的一方面提供了一种自动部署模型训练环境的方法，包括以下步骤：

安装并启动Docker及NVIDIA-Docker；

运行第一脚本以基于所述Docker及NVIDIA-Docker创建镜像；

运行第二脚本以基于所述Docker及NVIDIA-Docker创建所述镜像的容器；以及

创建完所述容器后，运行第三脚本以启动模型训练。

在一些实施方式中，运行第一脚本以基于所述Docker及NVIDIA-Docker创建镜像包括：通过所述第一脚本根据Dockerfile文件执行命令以编译所述镜像。

在一些实施方式中，所述Dockerfile文件中包括设置所述镜像使用的基础镜像和相关的基准库。

在一些实施方式中，所述模型是深度学习语音识别模型。

在一些实施方式中，所述第三脚本包括提供自动下载训练数据及转换数据的脚本。

在一些实施方式中，所述第三脚本还包括提供自动化训练模型的脚本，用户只需要设置训练的迭代步数，就可启动测试。

在一些实施方式中，所述模型可以是机器翻译模型。

本发明实施例的另一方面，还提供了一种自动部署模型训练环境的装置，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行上述任意一项所述的方法。