[发明专利]一种基于轻量化卷积神经网络的实时图像语义分割方法

说明书

本发明公开一种基于轻量化卷积神经网络的实时图像语义分割方法。所述方法包括以下步骤：构建轻量化卷积神经网络；训练构建的轻量化卷积神经网络；使用训练完成的轻量化神经网络对给定场景中图像进行语义分割。本发明在所构建的卷积神经网络中，融合了多路处理机制，能有效编码像素的多空间尺度特征，解决多尺度目标区分困难的问题。同时，本发明结合深度卷积(depth‑wise convolution)大大减少了模型参数，所构建的轻量化卷积神经网络仅有90万参数，远低于现有方法，实现了模型轻量化的目的，满足实时性处理要求。另外，本发明的轻量化卷积神经网络基于全卷积网络，实现了端到端训练和推理，极大地简化了模型的训练和部署过程。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于轻量化卷积神经网络的实时图像语义分割方法。

背景技术

图像语义分割的目的是为图像中的每一个像素点赋予一个语义类别的标记，属于像素级的稠密分类任务。整体来看，语义分割是为实现全面场景理解铺平道路的基础任务之一，越来越多的应用也从图像数据中获取知识，包括自动驾驶、人机交互、室内导航、图像编辑、增强现实和虚拟现实等。

图像语义分割方法可以分为两类：一类是传统方法，如基于阈值的分割、基于边缘的分割、基于区域的分割、基于图论的分割、基于能量泛函的分割等；另一类是基于深度学习的方法。近年来，随着深度神经网络的发展，深度学习在计算机视觉领域表现出越来越大的优势。深度卷积网络对于图像数据尤其有效，可以用于高效地提取图像中的像素特征，克服了传统方法严重依赖人工选取特征的局限，得到较好的分割效果。

Jonathan Long等人在《Fully Convolutional Networks for SemanticSegmentation》一文中提出使用全卷积网络(Fully Convolutional Networks,FCN)进行语义分割，极大地推动了近年来基于深度学习的语义分割技术发展。基于FCN的各种模型显著提升了语义分割的准确率，但是这类模型通常具有上百万的模型参数，推理效率低下，严重阻碍了其实际应用。在诸如自动驾驶、室内导航、增强现实和虚拟现实等领域，需要准确而高效的语义分割机制，实现低延迟处理的目的。

发明内容

为了实现准确且高效的各类场景语义分割，克服场景中目标尺度呈现显著变化的问题，本发明提供一种基于轻量化卷积神经网络的图像语义分割方法。通过构建轻量化卷积神经网络，提取像素的多尺度特征，增强像素特征的区分能力，达到准确而高效语义分割的目的。

本发明的目的至少通过如下技术方案之一实现。

一种基于轻量化卷积神经网络的实时图像语义分割方法，包括以下步骤：

S1、构建轻量化卷积神经网络；

S2、训练构建的轻量化卷积神经网络；

S3、使用训练完成的轻量化神经网络对给定场景中图像进行语义分割。

进一步地，步骤S1包括以下步骤：

S1.1、构建多尺度处理单元，用于获取像素的多尺度特征；

S1.2、使用构建的多尺度处理单元替换残差网络基本块(Basic block ofResNet)第一个标准3×3卷积，得到金字塔表征模块；

S1.3、按网络结构和参数设置构建轻量化卷积神经网络；第一层为标准3×3卷积，作为初始层将像素特征维度扩展至16；然后连续使用8个金字塔表征模块用于有效编码像素的多尺度特征，捕获长距离像素依赖关系，增强像素特征的区分能力，提升多尺度目标的分割性能；

S1.4、使用双线性差值函数作为上采样算子，恢复分割结果的分辨率使其和输入图像的分辨率相同。