[发明专利]基于深度稠密网络与边缘距离图加权的图像协同分割方法

说明书

本发明公开了一种基于深度稠密网络与边缘距离图加权的图像协同分割方法，属于计算机图像协同分割技术领域。本方法利用距离图中的距离信息，对图像不同区域进行不同程度的加权，并通过计算预测距离图与真实距离图的交并比设计损失函数，有效应对图像分割中存在的边缘区域误判问题，使分割出来的结果更准确。通过搭建深度神经网络在U形孪生网络的解码器部分添加稠密连接，实现特征重利用，有效提高分割精度。本方法可在三维物体前景抠取等应用场景下快速、高精度、高可靠的实现图像协同分割，获得令人满意的目标前景。

技术领域

本发明涉及一种基于深度稠密网络与边缘距离图加权损失函数的图像协同分割方法，属于计算机视觉中的图像协同分割技术领域。

背景技术

图像协同分割，是指从一组相关图像中分割出共同和显著的目标的技术。该技术在交互式图像分割、三维重建、目标共定位等方面，都有着重要的应用前景。

传统的协同分割方法，主要利用手工制作的特征和先验知识，存在鲁棒性低、泛化能力差等问题，难以取得高精度的分割结果。近年来，随着深度学习技术的不断发展，为了提高图像协同分割性能，引入深度学习技术，以数据驱动的方式学习图像的视觉表达，取得了良好的效果，但仍然存在许多问题和不足。

在使用深度学习实现图像分割的方法中，神经网络的网络结构设计和损失函数改良分别是提高图像分割精度的两个重要途径。当前广泛使用的U形卷积神经网络，由通过下采样提取特征的编码器和进行上采样的解码器及跳跃连接构成，是一种经典的网络设计方法。卷积网络往往越深则效果越好。然而，随着网络深度的增加，浅层特征在经过多层网络的前向传播后特征信息面临逐渐减弱和消散的问题，在网络的编码器和解码器部分添加跳跃连接也不能完全解决这个问题。

分割网络训练时所采用的学习目标即损失函数对分割结果有很大影响。Diceloss和交叉熵损失函数是当前基于深度学习的图像分割技术广泛使用的两种损失函数。交叉熵定义为对给定随机变量或事件集的两个概率分布之间的差异的度量。交叉熵损失函数可以用在大多数图像分割场景中，但其存在一个明显的缺点：当前景像素远小于背景像素的数量时，损失函数中背景像素部分占据主导，严重偏向背景，导致分割结果不理想。Diceloss直接计算了图像真实前景标记与网络预测输出的分割结果的重叠率，直接反映分割的准确度。Diceloss可用于正负样本不平衡的数据集，其专注于引导前景区域分割，一定程度上不受正负样本不平衡的影响，但是，其也存在缺点。第一，只专注于前景区域的分割而对背景区域缺少引导；第二，对难易样本没有区别处理，在二维图像上每个像素点在预测错误时的惩罚没有区别，只统计正确或错误的像素点的个数，没有加权处理。

发明内容

本发明的目的是针对现有的基于卷积神经网络的图像分割方法中存在的忽略图像边缘、分割准确率较低等问题，为克服存在的缺陷，创造性地提出一种基于U型孪生稠密神经网络及边缘距离图加权的图像协同分割方法。

本发明的创新点在于：

首先，将二值标记图转换为含有距离信息的距离图(distance map)，其值反映了每个像素点与目标边界的距离信息，值的正负号代表对应像素点为前景或者背景。通过求prediction距离图与真实距离图的交并比定义设计损失函数，实现边缘距离图加权，并将分割问题转换为距离图回归问题，有效提高分割准确率。

其次，依托于U形深度孪生网络，网络由编码器和解码器构成。编码器中包含多个卷积层，每个卷积层后接BN和激活，对输入图像进行特征提取得到特征图。解码器中使用多个反卷积块连接成一条特征放大路径，各个反卷积块的输入特征是由前面所有反卷积块的输出拼接获得，从而在解码器部分实现网络稠密连接，有效提高分割效果。

一种基于深度稠密网络与边缘距离图加权的图像协同分割方法，包括以下步骤：

步骤1：获取含有共同前景目标的原图及其对应的标记图，并进行数据预处理。

步骤2：对步骤1得到的每一张标记图，计算其对应的真实距离图。