[发明专利]一种基于残差特征聚合注意块的图像去马赛克方法

说明书

本发明公开了一种基于残差特征聚合注意块的图像去马赛克方法，步骤包括：步骤1，构建绿通道恢复网络，输入为Bayer滤光片阵列采样后的raw图，输出为重建的绿通道图；步骤2，构建红通道恢复网络，输入为红采样图和重建的绿通道图；输出为重建的红通道图；步骤3，构建蓝通道恢复网络；步骤4，将重建得到的红通道图、绿通道图和蓝通道图融合成重建的RGB图；步骤5，根据上述搭建的基于残差特征聚合注意块的网络模型，计算重建的RGB图与相对应的真实图像之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型。本发明的方法，可以使网络学习更多的特征，提高重建效果，获得高质量的重建图像。

技术领域

本发明属于图像处理与深度学习技术领域，涉及一种基于残差特征聚合注意块的图像去马赛克方法。

背景技术

彩色图像一般是由红(R)绿(G)蓝(B)三种颜色成分表示出来的，每种颜色成分称为一个颜色通道。现如今RGB数码相机记录彩色图像最普遍，而大部分的数码相机采用单个传感器的成像结构，传感器表面覆盖滤光片，曝光成像时，传感器的每个像素位置只采集一种颜色，这种直接采样获取的图像称为raw图，而重建出每个像素位置上没有直接采样到的其他两种颜色成分信息的过程被称为图像去马赛克。

当前RGB数码相机中，最常见的彩色滤光片阵列是Bayer滤光片阵列，其成像区域是由2×2的重复阵列组成，每组2×2阵列包含2个绿(G)、1个红(R)、1个蓝(B)像素。这样就会造成2/3的颜色信息丢失，而采样到的1/3的颜色信息大部分被噪声所污染，从而影响重建图像的质量。图像去马赛克处于图像处理流程中的第一步，应为后续一系列的图像处理任务打好基础，因此重建得到高质量的图像具有重要意义。

当前图像去马赛克的方法可大致分为三类：基于插值的方法、基于稀疏表示的方法和基于深度学习的方法。基于插值的方法中，有的算法忽略了通道间的相关性，而有的算法即使考虑到通道间的相关性，其在边缘、纹理等区域的重建效果也不令人满意。基于稀疏表示的方法，虽然精度高，但是也具有较高的复杂度，在实际应用中有所限制。基于深度学习的方法，通过设计神经网络，学习raw图中的特征以及各通道各相邻像素之间的相关性，进行重建图像，取得了一定的进步；但有的网络会先将raw图下采样到半尺寸的四通道图，使得分辨率降低，图像细节丢失，RGB之间的相对位置信息丢失，使重建图像不准确；而且有的网络模型存在复杂且训练困难的问题。

发明内容

本发明的目的是提供一种基于残差特征聚合注意块的图像去马赛克方法，解决了现有技术基于深度学习去马赛克时，重建图像出现伪影、模糊、训练困难和重建精度低的问题。

本发明的技术方案是，一种基于残差特征聚合注意块的图像去马赛克方法，按照以下步骤具体实施：

步骤1，构建绿通道恢复网络，该绿通道恢复网络的输入为Bayer滤光片阵列采样后的raw图，输出为重建的绿通道图；

步骤2，构建红通道恢复网络，输入为红采样图和重建的绿通道图，输出为重建的红通道图；

步骤3，构建蓝通道恢复网络；

步骤4，将重建得到的红通道图、绿通道图和蓝通道图融合成重建的RGB图；

步骤5，计算重建的RGB图与相对应的真实图像之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型。

本发明的有益效果是，包括以下几个方面：

1)本发明提出通过级联残差特征聚合块构建网络模型学习raw图的特征重建绿通道图，与绿采样图相比，raw图拥有更多的图像信息，使网络学习更多的特征，提高重建效果。

2)本发明提出将残差块中提取的特征进行特征聚合处理，传统残差块中的前块特征必须经过很长的路径传播到后块，经过一系列的操作形成更复杂的融合特征，从而未完全利用较干净的残差特征；而特征聚合处理可以充分利用残差分支的分层特征和中间层的信息。