[发明专利]一种基于超分辨率重建的图像协同分割方法

说明书

本发明涉及一种基于超分辨重建的图像协同分割方法，属于图像协同分割技术领域。包括：步骤1输入N张图像，每张图像缩小至原来四分之一；步骤2对每张图像进行超分辨率重建，恢复部分图像细节，得到恢复图像；步骤3将N张恢复图像两两组合得到图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；步骤4对相关性特征图进行解码，得到双通道特征图；步骤5将双通道特征图通过卷积神经网络解码，解码得到的小图输入SRCNN网络并经Sub‑pixel操作获得放大的特征图；步骤6对放大的特征图中每个像素点进行分类，得到分割掩码图。所述协同分割方法基于超分辨率重建能够用更小的图像获得在清晰大图上的分割效果。

技术领域

本发明涉及一种基于超分辨重建的图像协同分割方法，属于图像协同分割技术领域。

背景技术

图像超分辨率重建是指从观测到的低质量、低分辨率图像重建出高质量、高分辨率图像，即给定单张图像，使用智能方法将其放大，得到分辨率更高的图像，且比传统方法放大得到的细节纹理更加清晰，或者在图像大小即分辨率不变的情况下，经处理后，压缩噪声，获得更加清晰、锐利、干净的图像。该技术在军事、医学、公共安全、计算机视觉等方面都有着重要的应用前景。图像分割是计算机视觉和模式识别中的关键技术之一。在计算机视觉领域，图像分割指的是为图像中的每个像素分配一个标签，对图像中每个像素进行分类。本发明在基于人工神经网络的图像分割模型中引入图像超分辨率重建技术，实现在分割网络前图像预处理和分割后图像后处理的超分辨率重建，达到增强图像质量以提高分割准确率的效果。

近年来，图像协同分割多采用基于深度学习的卷积神经网络来实现，尤其多采用全卷积网络FCN，该方法的出色之处在于利用现存的CNN网络作为其模块之一来产生层次化的特征，并将CNN中的全连接层均替换为卷积层，输出空间映射而非分类概率。这些映射通过卷积运算得到，用于产生密集的像素级别的标签。该方法可以为任意大小的输入产生像素级别的标签预测，但结果不够精细。

通过改进FCN结构，Ronneberger等人提出由捕获上下文信息的收缩路径和对称的精确定位的扩张路径组成的U-Net架构。U-Net首先对输入图像下采样并进行特征提取获得低分辨率特征图，通过学习该特征图更高效的分辨类别，随后上采样得到较高分辨率的分割图。下采样使U-net在给定常量卷积核大小的情况下扩大了感受野，却降低了图像空间分辨率，信息有所损失。

DilatedFCN将全卷积网络中最后部分池化层替换为扩张率连续增大的扩张卷积，实现在保持感受野的同时有效保留空间细节。然而，扩张卷积完全替换池化层的网络对计算资源要求比较高。

现有方法构建网络结构时多采用大量的卷积层，然而在整个网络中要保留完整分辨率的计算成本较高。限制输入图像的大小一定程度上可以降低计算复杂度，但受限于深度神经网络结构的图像输入输出大小要求，原有大图需在分割前后进行缩放操作，使图像信息大量损失，图像质量降低，对分割结果准确性造成一定影响。

发明内容

本发明的目的在于现有图像协同分割方法存在图像信息损失导致分割结果准确率较低以及运算资源需求多的技术缺陷，提出了一种基于超分辨率重建的图像协同分割方法。

本发明是基于以下技术方案实现的。

所述基于超分辨率重建的图像协同分割方法，包括如下步骤：

步骤1、输入N张图像，每张图像缩小至原来四分之一大小；

步骤2、遍历步骤1中的每张图像，经EDSR网络进行超分辨率重建，有效恢复部分图像细节，得到恢复图像；

步骤3、将步骤2中得到的N张恢复图像两两组合，得到个图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；

其中，卷积神经网络包括但不限于U型孪生深度网络；

步骤4、通过卷积神经网络对步骤3得到的相关性特征图进行解码，得到个双通道特征图；