[发明专利]基于聚合边缘特征的图像语义分割方法及系统

说明书

本发明特别涉及一种基于聚合边缘特征的图像分割方法，包括：特征提取模块，用于提取图像的浅层特征；特征融合模块，用于对浅层特征进行特征融合；上采样模块，用于对融合后的特征进行卷积降维操作，并对降维后的特征图进行上采样双线性插值处理得到与输入图尺寸相同的特征图；显著目标边缘图生成模块，用于对上采样模块输出的特征图进行相加，并对相加后的特征图进行可视化处理得到预测的显著目标边缘图。通过此网络可以有效的提取显著目标，以PC屏幕为例，我们的显著目标就是屏幕的边缘，而非所有线段，建立该网络并完成训练后，训练好的网络就能可靠的提取出显著目标边缘，提取结果中噪点少，保证后续对屏幕的识别更加准确。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于聚合边缘特征的图像语义分割方法及系统。

背景技术

目前计算机视觉技术应用于多个场景，包括图像分类、目标检测、三维重建以及语义分割等领域。随着互联网通信快速发展，智能化产品的竞争力需要更高级语义场景理解的技术突破。因此，语义分割作为计算机视觉的核心问题，能够帮助越来越多的产品自动高效地理解图像或影像中相关的知识或语义，从而达到智能化目标，减小人为的交互操作并提升客户的舒适感。当前这些产品已广泛应用于自动驾驶、人机交互、计算摄影学、图像搜索引擎、增强现实等领域。

计算机视觉中语义分割问题本质上是从粗糙推理逐渐到精细化推理的过程。刚开始要追溯到分类问题，即粗略地预测输入样本中的物体类别，之后就是目标物体的定位与检测，这不仅预测物体的类别，并且给出关于各类别空间位置的额外信息，比如中心点或物体区域的边框。在此基础上，语义分割可以理解为在检测领域上的细粒度预测，将测试图像输入分割网络，使预测的热图大小和输入图像保持一致，通道数等于类别数，分别代表了各空间位置属于各类别的概率，即可以逐像素地进行分类。

深度学习算法已成为语义分割技术的主流方向，且取得了重要突破和进展。全卷积网络FCN成为了深度学习技术应用于语义分割问题的基石，它可以接受任意尺寸的输入图像，通过若干个反卷积层对编码网络的最后一个卷积的特征图（feature map）进行上采样解码，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息。随后在FCN网络的基础上，第一阶段衍生了多种语义分割模型，如编解码之间具有跳跃连接的对称网络U-Net，引入扩张卷积和使用条件随机场CRF进行后处理优化的DeepLab系列网络以及结合上下文信息进行特征融合的ParseNet。第二阶段随着Transformer模型结构应用于视觉领域，提升了关键区域和感兴趣对象的特征辨识能力，在诸多视觉任务中取得较好的表现。

虽然现有的语义分割在几个常见的应用和数据场景的技术突破越来越大，但在特定场景或应用下，单目标语义分割的效果和实用性有待提高，比如对于电脑PC屏幕的分割场景受部分遮挡以及光照等复杂因素的影响，其分割效果并不是很理想，并且在现有的模型结构下提升有限。

为了解决现有技术中屏幕分割效果不佳的情况，东北大学于2021年7月29日提交的专利申请《基于自适应特征融合的边缘感知图像语义分割方法》（申请号：2021108646799），其公开了一种基于自适应特征融合的边缘感知图像语义分割方法，是一种以残差网络为基础的新的语义分割方法，是一个双分支网络结构模型，包括边缘分支和语义分支，其中，边缘分支从语义分支的浅层部分被引出，语义分支采用了编码解码结构。在边缘分支中，加入的多尺度交叉融合操作通过叠加空洞率不同的空洞卷积获取图像多尺度特征，同时各个分支之间的交叉融合可以进一步提升多尺度特征的鲁棒性，在语义分支中基于空间注意力机制对深层特征和浅层特征进行融合，可以在获得浅层特征中含有的丰富空间信息的同时，过滤其含有的大量噪声；最后对语义分支特征和边缘分支特征进行融合，进一步优化分割效果。此方案中，通过引入双分支网络，分别对图像中目标边缘特征和目标区域特征进行提取，最后再取交集，这样可以得到更加准确的分割效果。此案中，所采用的的边缘分支特征提取方案噪声很多，比如对PC屏幕进行边缘提取时，由于屏幕边缘多为直线，而图像中其他物体也常出现直线边缘，故而导致边缘分支特征提取的不准确，进一步影响最终的目标提取。