[发明专利]一种基于深层交互式测地距离的图像分割方法

权利要求书

1.一种基于深层交互式测地距离的图像分割方法，其特征在于，主要包括基于用户交互的测地距离图(一)；使用扩展卷积的卷积神经网络结构保留分辨率(二)；可反向传播的条件随机场网络(三)。

2.基于权利要求书1所述的深层交互式测地距离，其特征在于，为了最小化用户交互，建议使用两个卷积神经网络(CNN)：初始分割建议网络和细化网络；初始分割提议网络将带有C_I通道的原始图像作为输入，并自动给出初始分割；然后，用户开始检查分割，并给出一些交互(点击或涂鸦)来指示错误分割的区域；细化网络获取原始输入图像的信息进行初始分割和用户交互，以提供精细分割；初始分割提议网络和细化网络使用分辨率保留结构，从大的接收场捕获高级特征，而不损失分辨率；它们除了输入尺寸的差异外具有相同的结构；基于由初始分割提议网络自动获得的初始分割，用户可以通过细化网络多次通过点击/涂鸦来优化结果；

为了使分割结果在空间上更一致，使用涂鸦作为硬性约束，初始分割提议网络和细化网络均与条件随机场(CRF)连接，CRF被建模为循环神经网络(RNN)，即CRF网络，因此可以与初始分割提议网络或细化网络通过反向传播，在CRF网络中使用自由成对的电势。

3.基于权利要求书1所述的基于用户交互的测地距离图(一)，其特征在于，用户检查由初始分割提议网络自动获得的初始分割结果，并给出涂鸦(或点击)指示错误分割；涂鸦给出了一组像素“前景”或“背景”的标签；与相同标签的交互转换为距离图，其中使用了欧几里德距离；使用测地距离能更好地区分不同外观的相邻像素，并提高均匀区域的标签一致性；使用测地距离对特征空间中的变量进行编码，并将其与随机森林算法相结合进行语义分割；但它不是为了处理用户交互而设计的；建议通过测地距离变换对用户交互进行编码，以进行基于CNN的分割；

假设和分别表示属于前景涂鸦和背景涂鸦的像素集合；从图像I中的每个像素i到涂鸦集的无符号测地距离为：

其中，是像素i和j之间的所有路径的集合；p是一个可行路径，由s∈[0,1]参数化；u(s)是与路径方向相切的单位向量，定义为u(s)＝p′(s)/‖p′(s)‖；如果没有为前景或背景绘制涂鸦，则相应的测地距离图用随机数填充。

4.基于权利要求书3所述的测地距离图，其特征在于，用户交互和原始分割的测地距离图具有与I相同的高度和宽度，并且它们与I的通道相连，从而获得具有C_I+3通道的级联图像，并将其用作细化网络。

5.基于权利要求书1所述的使用扩展卷积的卷积神经网络结构保留分辨率(二)，其特征在于，CNN结构改编自VGG-16网络结构，并进行了分辨率保留；有13个卷积层，分为五个块，前两个块中的每一个具有两个卷积层，并且每个剩余块具有三个卷积层，所有卷积层卷积核的大小固定为3×3；除了CRF网络中的输入通道和使用用户交互的区别，细化网络是一样的；为了使接受场的指数增加，VGG-16在每个块之后使用最大池和下采样层；然而，这将降低特征映射的分辨率；因此，为了通过网络保持分辨率，删除最大池和下采样层，并在每个块中使用扩展卷积。