[发明专利]图像处理方法、神经网络系统、计算机系统和介质

说明书

本公开提供了一种神经网络系统，包括：至少一个特征提取模块、至少一个图像重建模块、至少一个采样模块，其中，每个所述特征提取模块均包括以残差连接方式依次相连的一个初始卷积层和三个密集连接残差块。本公开还提供了一种基于神经网络系统的图像处理方法，包括：通过所述至少一个特征提取模块，对输入的所述Bayer阵列图像进行高斯平滑，并对进行高斯平滑后的图像进行特征提取，得到进行特征提取后的图像，所述Bayer阵列图像由马赛克图像处理得到，通过所述至少一个图像重建模块，对所述进行特征提取后的图像进行重建，得到重建后的图像，通过所述至少一个采样模块，对所述重建后的图像进行采样，输出彩色图像。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种基于神经网络系统的图像处理方法、神经网络系统、计算机系统和介质。

背景技术

由于成本原因，大部分相机采用的是单个CCD或CMOS图像传感器，通过在传感器前添加一个彩色滤波阵列(color filter array，CFA)，每个像素点只能获取一种颜色的信息，因此相机原始输出的是用一个单通道矩阵表示的图像。由于每个像素只包含一种颜色信息，同一像素位置的另外两种颜色需要通过估计得出。这一过程就称为图像的去马赛克(demosaicking)。而其中以一红一蓝两绿为四个像素单位排列的Bayer阵列是目前应用最为广泛的一种CFA阵列。因此，大量的研究和发明针对基于Bayer阵列的去马赛克方法。

现有的Bayer阵列去马赛克方法主要包括传统方法和基于神经网络的方法。传统方法一般包括基于插值的方法、基于字典的方法和基于变换域的方法等。传统方法通常采用根据一定的规则人工提取特征的方式，效率较低，并且去马赛克之后的图像容易产生图像伪影，恢复的图像效果不好，因而近些年许多研究者提出了基于神经网络的图像去马赛克方法。基于神经网络的方法的效果一般好于传统方法，且不易产生图像伪影，但其面临的重要问题是神经网络的结构复杂、参数量和计算量巨大，不适用于如相机内嵌图像处理器这种内存空间和处理性能受限的硬件和其他边缘设备。

发明内容

本公开的一个方面提供了一种基于神经网络系统的图像处理方法，所述神经网络系统包括至少一个特征提取模块、至少一个图像重建模块、至少一个采样模块，其中，每个所述特征提取模块均包括以残差连接方式依次相连的一个初始卷积层和三个密集连接残差块，所述方法包括：

通过所述至少一个特征提取模块，对输入的所述Bayer阵列图像进行高斯平滑，并对进行高斯平滑后的图像进行特征提取，得到进行特征提取后的图像，所述Bayer阵列图像由马赛克图像处理得到；

通过所述至少一个图像重建模块，对所述进行特征提取后的图像进行重建，得到重建后的图像；

通过所述至少一个采样模块，对所述重建后的图像进行采样，输出彩色图像。

在本公开一实施例中，所述平滑模块的数量为n，所述特征提取模块的数量为n+1，所述图像重建模块的数量为史所述采样模块的数量为n。

在本公开一实施例中，每个所述密集连接残差块包括至少一个深度可分离卷积和至少一个非线性激活层。

在本公开一实施例中，所述神经网络系统的结构为嵌套型U型网络，每个具有不同层数的U型网络相互嵌套。

在本公开一实施例中，所述通过所述至少一个特征提取模块，将输入的Bayer阵列图像进行特征提取，得到进行特征提取后的图像之前，还包括：

将马赛克图像处理成排列方式符合红色、绿色、绿色、蓝色顺序排列的所述Bayer阵列图像。

在本公开一实施例中，所述将马赛克图像处理成排列方式符合红色、绿色、绿色、蓝色顺序排列的所述Bayer阵列图像包括：

获取待处理的马赛克图像；

将所述马赛克图像截取成尺寸为2H×2H×3的图像，作为比对的正确图像；