[发明专利]一种基于用户交互与深度神经网络的图像分割方法

说明书

近来，深度神经网络被广泛应用于全自动图像分割技术，其结果大多让人满意。但由于全自动图像分割没有用户输入，其适用性降低，且不能通过用户交互来智能地纠正自动分割中可能出现的错误。因此，我们提出一种基于用户交互的图像语义分割方法，该方法允许用户可以实时的观察到每次分割的结果，并通过用户输入来调整每次分割的结果，进而提高分割的准确性，最终达到最好的分割效果。我们主要的研究内容包括：构建合适的用户交互式输入数据集(模拟用户输入用于训练模型)、语义分割模型设计以及损失函数的设计。我们通过实验证明该方法只需要少量的用户输入就可以得到准确性高且令人满意的分割结果。

技术领域

本发明涉及图像处理的图像分割领域，可以在全自动分割结果的基础上增加用户笔画输入来智能地纠正自动分割中可能出现的错误，即可以提高分割的准确性，并且使得用户可以根据实际需求进行更精准的分割。对此，本发明提出了一种模拟用户笔画输入的方式，并且设计了一种损失函数，使得模拟的用户输入能够精准的引导分割结果。

背景技术

深度卷积神经网络(DCNN)最近显示了在高级视觉任务(例如图像分类和目标检测)中的最新性能。这项工作将DCNN和概率图形模型的方法结合在一起，以解决像素级分类(也称为“语义图像分割”)的任务。图像语义分割是指对图像中每个像素点进行分类，标注出每个像素点所属的类别。目前的图像分割技术主要分为三类：手动的，半自动的以及全自动的方式。手动的方法是非常耗时的，代价很高，不是一种可取的方式。而全自动图像分割的方法不需要人工，但通常会在提供不佳的校正手段的情况下提供次优的结果。半自动化的方法通过提供交互手段来保持用户对结果的控制，但是主要的挑战是要在精度和所需交互之间进行权衡。

Long et al和EigenFergus等人提出的分割技术将DCNNs直接以滑动窗口的方式应用于整个图像，用卷积层代替了DCNN的最后完全连接的层。为了解决导言开头概述的空间局部化问题，Long等人提出了一种解决方案：从中间特征图上采样并连接分数，而EigenFergus通过将粗略结果传播到另一个DCNN，将预测结果从粗略细化为细化。而Liang-ChiehChen等人提出的DeepLab图像分割系列；其主要是通过空间金字塔的池化模块(SPP)来捕获更多的尺度信息，并且使用编码-解码的结构来更好地恢复物体的边缘信息，使用该论文提出的模型来进行分割的结果大多让人满意。但因为其没有用户交互机制来智能地纠正自动分割中可能出现的错误，使得其适用性降低。因此，我们主要研究在全自动分割技术基础上增加用户交互输入(即半自动分割技术)来进一步提高分割的准确性，且能根据用户的实际需求进行更精确的分割。

发明内容：

本发明利用所说的半自动图像分割技术，在深度神经网络模型下，输入原始图像以及用户笔画信息，从而得到精确的且符合用户需求的图像分割结果。该发明不仅在日常生活中发挥作用，在我们的医学图像分割领域也是极其重要的。

本发明由三个部分组成，首先是模拟用户交互输入数据集的生成，然后基于深度神经网络结构的设计，最后提出一种损失函数使得用户输入更加高效准确。

1.模拟用户交互输入数据集

该发明依赖于用户的引导交互来得到更精确的分割，但是在网络训练过程中，由于数据集的数量过大，仅仅依赖用户纯手工的来对每个输入数据进行引导是不明智且费时费力的，因此在训练过程中模拟用户交互输入是极其重要的一步。我们提出了一种简单且有效的用户交互方式，即用户在分割错误或者是分割不满意的区域进行笔画引导，从而使得该区域能分割准确。

假设需要分割的原始数据集为I_image，原始标签为I_label。首先我们通过全自动分割模型输入I_image得到分割结果O₁。然后我们获取I_label和O₁在不同标签值上的误差图(即在原始不同标签值的所在区域进行矩阵相减)，用公式可表示为：