[发明专利]一种基于边缘增强的语义图像分割方法及系统

说明书

本发明提供了一种基于边缘增强的语义图像分割方法及系统，包括对输入图像进行预处理；建立边缘增强网络模型，包括轻量级边缘网络和深度语义网络；将预处理后图像输入轻量级边缘网络，利用空间注意力模块自适应地关注图像的局部边缘信息；分批次将预处理后图像输入深度语义网络，利用通道注意力模块优化深度网络不同阶段的输出；将所得特征进行级联降维，融合不同层次的特征信息，利用通道注意力模块优化；归一化得到边缘增强网络模型预测的图像分割结果；计算预测的分割图和给定的标准分割图的交叉熵损失和焦点损失，以分别监督轻量级边缘网络和深度语义网络的输出，使用随机梯度下降法更新边缘增强网络的模型参数，实现对输入图像的精确分割。

技术领域

本发明属于计算机视觉与图像处理领域，涉及一种图像分割方法，具体涉及一种基于边缘增强的语义图像分割技术方案。

背景技术

图像语义分割是一个像素级分类任务，其本质是为图像中的每个像素分配对应的语义标签，把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。图像语义分割是许多计算机视觉任务(如识别、检测等等)的重要预处理步骤，广泛应用于人脸识别、指纹识别、医学图像和卫星图像定位等领域。

随着近年来深度学习的飞速发展，卷积神经网络(CNN)在图像视觉领域取得了巨大的成果，其中基于深度学习的图像分割方法也在不断取得速度和精度上的双重突破。2015年，long等人提出了基于全卷积网络(FCN)的图像分割方法[1]。针对任意大小的输入图像，训练端到端的全卷积网络的框架，实现逐像素分类。2015年Chen等人在FCN框架的末端增加全连接神经网络CRF,提出了Deep Lab模型[2],首先使用双线性插值法对FCN的输出结果上采样得到粗糙分割结果,以该结果图中每个像素为一个节点构造CRF模型并求解,对分割结果求精。2017年,香港中文大学的王晓刚团队提出了PSPNet方法[3]，通过全局均值池化操作(global average pooling)和特征融合引入了更多上下文信息,进一步提升了分割精度。2018年，Yu等人提出了双向分割网络BiseNet[4]用于实时语义分割，实现了速度和精度的平衡。

基于深度学习的图像分割模型利用卷积神经网络，对图像上的每个像素点进行分类，这种方式虽然可以准确分类大多数的像素点，但是依赖于更深的网络模型、更庞大的参数量。这些复杂的网络模型能有效提取全局一致性较强的上下文特征，但是缺乏边界空间信息，对语义边界的分类并不友好。例如，当图像中两个不同类别的物体彼此相邻，其边界区域往往容易混淆错分类，降低了图像分割的精确度。

为了解决上述技术难题，本文提出了一种基于边缘增强的语义图像分割方法，将语义图像分割模型分为轻量级边缘网络和深度语义网络两个部分。轻量级边缘网络关注于图像的语义边界，强化图像的空间边界位置信息；深度语义网络关注于图像的深层语义，通过更大的感受野获取更强的语义一致性。对两个子网络的信息进行融合分类后，该方法对不同类别的边界分割效果更好，整体分割精确度更高。

为证明本专利的独创性，对已有类似的图像分割工作展开调研，迄今为止发明名称内含有图像分割的已有专利2433项，其中与边缘强化相关的有专利31项，但没有与本项发明中的单独用一个轻量卷积神经网络提取边缘特征的相关专利，该31项专利如下表所示：

其中前27项是传统图像分割方法与边缘增强有关的专利，后4项是基于深度学习的图像分割方法与边缘增强有关的专利，下面列出其中与本发明最为相关的4项公开专利的分析。

中国专利文献号CN107680113A，公开(公告)日2018.02.09，公开了一种基于贝叶斯框架边缘先验的多层分割网络的图像分割方法，该发明利用限定域转换(DirectedDomain Transform,DDT)将边缘检测网络得到的显式边缘用于约束主分割网络中的分割结果。该发明主要用于遥感图像的分割，遥感图像的边缘比较有规律，适用于边缘相对简单的图片，但是在类别较多的复杂通用场景下效果不佳。