[发明专利]一种基于移动端的深度学习检测模型的通用部署方案

说明书

本发明涉及图像处理技术领域，具体涉及一种基于移动端的深度学习检测模型的通用部署方案，包括步骤一：基准网络模型裁剪；步骤二：利用基准网络预训练的值进行模型训练；步骤三：利用ONNX模型将训练模型转换为更适合部署的MNN模型；步骤四：编写移动端的前向推理过程；步骤五：移动端的前向推理的优化；步骤六：结果的展示与返回；本发明整合性地将当前所遇到的所有可优化问题与部署方案集中在一起；不针对于某些特别的移动设备，而是面对所有移动终端提出部署方案；优化深度学习模型和移动端性能，解决了在线模式中网络延迟这一不可避免的技术瓶颈的缺点，同时可以起到对数据的隐私保护作用。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于移动端的深度学习检测模型的通用部署方案。

背景技术

自从AlphaGo问世以来，深度学习已经成为研究热点。现在人工智能应用已经开始植入移动终端，人工智能的概念越来越多地进入了我们的日常生活。在移动端上，能够高效地在移动端部署深度学习模型变得很重要。

现阶段，深度学习模型部署主要有两种方式:在线模式，终端模式。

在线部署模式：在移动终端进行初步处理后，将数据发送到服务器，服务器将计算结果返回到移动终端上。这样的部署模式相对简单，利用Caffe、Tenserflow、mxnet、Pytorch等现有框架训练的模型与代码放置于GPU服务器上，从训练到实际应用几乎不用做额外更改。但是缺点也十分明显，网速是计算速度的瓶颈，在通讯技术没有升级之前，这种部署方式不适合对吞吐量大、实时性高的应用。

终端部署模式：利用深度学习框架与GPU服务器训练得到模型后，将模型转换为可执行的程序在终端部署运行。这种方案，一定程度上解决了在线部署模式中“吞吐量大、实时性高”的问题。但是缺点也很明显：移动终端的部署相对繁琐。大型模型消耗大量资源，必须针对移动终端进行优化。不同的移动终端性能不同，终端优化的方法没有通用模式。

发明内容

本发明的目的在于提供一种基于移动端的深度学习检测模型的通用部署方案。

为达此目的，本发明采用以下技术方案：

提供一种基于移动端的深度学习检测模型的通用部署方案，包括:

步骤一：基准网络模型裁剪

选取轻量化的卷积神经网络作为基准网络模型；通过参数整体缩放的方式来大致确认模型的量级；确定量体结束后，再通过模型剪枝可以精修网络；

步骤二：利用基准网络预训练的值进行模型训练

剪枝后的神经网络进行重新训练，查看剪枝的精度损失；设立精度损失与剪枝量的阈值，进行对比，如果精度损失与剪枝量在容忍范围内，模型继续使用，未在容忍范围内则重新进行训练，得到裁剪重训的神经网络后，将其导入基于深度学习的目标检测框架中配合标注好的数据集进行模型训练；

步骤三：利用ONNX模型将训练模型转换为更适合部署的MNN模型

将现有的神经网络框架转换为移动设备可运行的模型；具体为借助ONNX模型格式；先将PYTORCH模型转为ONNX模型格式，再转换为MNN模型格式；

步骤四：编写移动端的前向推理过程

进行检测模型，输入一张图片，图片经深度神经网络前向计算并预处理操作后，可以得到一张识别结果图片；神经网络前向计算并预处理的过程就是深度模型前向推理；得到移动端模型后，仿照训练代码与参数编写前向推导程序；

步骤五：移动端的前向推理的优化

编写完前向推理程序后，完成了图片从输入到识别的过程；在此基础上进行下列程序优化：

图片输入部分：图片输入大小固定，在不损失结果的条件下且尽可能地减小输入图片大小；