[发明专利]一种云端深度学习模型转换方法、系统、设备及介质

说明书

本发明公开了一种云端深度学习模型转换方法、系统、设备及介质，所述方法包括以下步骤：获取待转换模型及模型转换请求信息；查询获得匹配训练机器实例；采用查询获得的匹配训练机器实例加载所述待转换模型，解析和遍历待转换模型的网络结构，获得中间模型；查询获得匹配推理机器实例；采用匹配推理机器实例加载所述中间模型，解析和遍历所述中间模型的网络结构，将其每一层转换到匹配推理机器实例的推理框架使用的模型格式，获得转换后的模型。本发明提供的方法，对用户屏蔽了不同训练框架转换到众多推理框架的细节，可节约学习成本、开发成本、环境安装部署成本、硬件准备/调试的成本等，能够提高生产效率。

技术领域

本发明属于深度学习模型技术领域，特别涉及一种云端深度学习模型转换方法、系统、设备及介质。

背景技术

深度学习领域的人工智能(Artificial Intelligence，AI)模型开发一般分为两个独立的阶段，包括：

(1)使用主流的深度学习训练框架如PyTorch、TensorFlow、MXNet来训练出符合业务需求的模型，称为训练模型；

(2)深度学习训练框架一般不适合直接部署到产品/生产环境，需要把训练模型转换为在推理框架上可用的模型，称为推理模型。

基于以上的现有主流开发流程，业界尚存在一些痛点，具体包括：

应用程序一般分为前端、后端/服务器云端，它们各自的硬件资源不同，所用的推理框架往往也是不同的；为了合理分配计算，部分AI模型会放在前端/边缘设备端部署执行，部分AI模型会放在后端/服务器云端部署执行。目前现有的传统做法中，算法工程师需要针对不同的推理框架和硬件设备执行模型转换，导致开发效率低，算法工程师的负担重，影响工程进度；另外，各个推理框架之间的通用性较差，使用成本高。示例性的，各个推理框架都会推出专用的模型转换工具，支持从不同的训练框架模型转换到自家的推理框架模型，但是不会支持转换到别家推理框架；各个推理框架专用的模型转换工具在用法、原理上还会存在较大差异，甚至相互之间有些使用经验还没有借鉴意义。执行模型转换工作的人员需要学习不同推理框架的模型转换方法，熟悉各个推理框架专用的模型转换工具在用法、原理、常见的使用技巧，需要分别学习、分别积累经验；执行模型转换工作还需要安装环境、编译推理框架和转换工具的代码为可执行程序，期间涉及大量的细节、潜在的bug或者环境不兼容导致的问题等等。有的训练框架或推理框架推出了云端模型转换服务，免去安装环节，但是也只仅支持转换到自家的推理框架模型(https://ai.baidu.com/easyedge/home，https://www.mnn.zone/#download-mnn-workstation，http://www.openailab.com/int/ability/list3.html，以上都有突出针对不同系统和异构计算平台的支持，但是实际后端的深度学习推理引擎都是各自自家的，并不支持别家产品)。

另外，实际应用中通常都要对模型的输入做预处理、对模型的输出做后处理，而训练模型保存的计算图是不包含输入预处理、输出后处理的计算步骤的(解释性的，输入预处理一般放在训练数据加载模块处理；输出后处理一般不参与训练，所以训练模型没有保存)；但是，推理模型是需要包含完整的模型输入预处理、模型输出后处理的计算步骤的，通过开发人员手工开发加入相关计算步骤，会导致费时费力、容易出现错误。

发明内容

本发明的目的在于提供一种云端深度学习模型转换方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明提供的方法，对用户屏蔽了不同训练框架转换到众多推理框架的细节，可节约学习成本、开发成本、环境安装部署成本、硬件准备/调试的成本等，能够提高生产效率。

为达到上述目的，本发明采用以下技术方案：

本发明第一方面提供的一种跨框架、跨平台云端深度学习模型转换方法，包括以下步骤：

获取待转换模型及模型转换请求信息；