[发明专利]一种基于深度学习的轮对光条图像的修复方法

说明书

本发明提供了一种基于深度学习的轮对光条图像的修复方法。该方法包括：采集待修复的轮对光条图像，将待修复的轮对光条图像输入循环网络中；在循环网络中，利用软编码Pconv层和非对称相似度模块对待修复的轮对光条图像进行循环渐进式的修复处理；将所述循环网络输出的多个修复特征图进行特征融合，得到融合特征图，利用损失函数结合MS‑SSIM损失项计算所述融合特征图与真值图像之间的差异值，根据差异值调整所述融合特征图，得到修复后的轮对光条图像。本发明实施例的方法能够对轮对多线激光光条图像进行有效的光斑修复和局部断裂修补，能准确还原断裂区域的光条；并且本发明在光斑区域的修复效果也很不错，能够达到当前实际工业环境下的精度要求。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的轮对光条图像的修复方法。

背景技术

RFR-Net(Recurrent Feature Reasoning Network，循环特征推理网络)是循环特征推理网络，其结构示意图如图1所示。该网络的卷积模式主要采用Pconv(Partialconvolution，部分卷积)和普通卷积，其中在网络首尾各有一个Pconv层，中间是主体的循环网络结构。循环网络结构包含多层循环，每层循环起始是两个Pconv层用于图像的修复，其后连接的是循环网络结构的核心部分——编解码子网络。编解码子网络由普通卷积的降采样和升采样构成，降采样和对应的升采样之间有跳跃连接(图中虚线箭头所示)，除此之外在降采样和升采样之间嵌入了相似度映射模块，该相似度映射模块负责图像修复特征的精度优化。网络有多层循环，每层循环输出一个中间特征图，多个中间特征图通过取平均值的策略进行特征融合，并作为下一个普通卷积的输入。

RFR-Net的损失函数结合了三种损失项。

绝对差异项：修复后的图像和真值图像之间的像素值绝对差异，具体计算两张图像对应位置的像素值的L1距离平均值。

风格损失项：约束图像风格保持一致的损失项，具体做法是将修复后的图像和真值图像分别输入VGG-16网络(Visual Geometry Group-16，16层网络)并在多个池化层输出，修复图像输入得到的特征图和真值图像输入得到的对应特征图之间计算对应位置特征值的L1距离平均值，即风格损失项。

感知损失项：也是约束图像风格保持一致的损失项，但是实现的角度与风格损失项有不同，区别在于池化层输出后计算输出特征图的格拉姆矩阵，并计算修复图像输出的格拉姆矩阵和真值图像输出的对应格拉姆矩阵之间的L1距离平均值。

现有技术中的基于RFR-Net网络的图像修复方法的缺点为：RFR-Net的核心相似度映射模块采用余弦距离作为不同特征点之间相似度的衡量标准，余弦距离更加适用于彩色图像。然而轮对光条图像是灰度图像，其R、G、B三分量的值是相同的，因此不同的中间特征点之间的余弦角度都趋向于0，相似度衡量的意义很小。除此之外，RFR-Net的损失函数仅仅考虑了输出图像和真值图像之间的像素值的差异和风格上的差异，而轮对光条图像具有明显的结构特性，这对于RFR-Net当前的损失函数设计来说是个不小的挑战。

发明内容

本发明的实施例提供了一种基于深度学习的轮对光条图像的修复方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于深度学习的轮对光条图像的修复方法，包括：

采集待修复的轮对光条图像，将待修复的轮对光条图像输入循环网络中；

在循环网络中，利用软编码Pconv层和非对称相似度模块对待修复的轮对光条图像进行循环渐进式的修复处理；

将所述循环网络输出的多个修复特征图进行特征融合，得到融合特征图，利用损失函数结合MS-SSIM损失项计算所述融合特征图与真值图像之间的差异值，根据差异值调整所述融合特征图，得到修复后的轮对光条图像。