[发明专利]面向Raw域的屏摄图像摩尔纹去除方法

说明书

本发明公开了一种面向Raw域的屏摄图像摩尔纹去除方法，构建Raw域去摩尔纹网络RDNet，整体结构由数据分类网络，多尺度去摩尔纹网络和ISP网络组成；训练上述的Raw域去摩尔纹网络RDNet，分别生成Raw域去摩尔纹训练模型和ISP模型；将测试集中的Raw域摩尔纹屏摄图像输入Raw域去摩尔纹网络RDNet，首先通过分类模型获得图像类别标签，再通过多尺度去摩尔纹网络得到Raw域去摩尔纹图像；再将Raw域去摩尔纹图像输入到ISP网络中，最终得到对应的sRGB域去摩尔纹图像。与现有技术相比，本发明能够根据摩尔纹频率分布广泛的特点，去除不同尺度的摩尔纹；以及能够针对屏摄图像中的彩色图像和文本图像分别做出了有针对性的处理。

技术领域

本发明属于图像复原技术领域，特别涉及一种基于Raw域的屏摄图像摩尔纹去除方法。

背景技术

摩尔纹是指两个不同频率的阵列混叠在一起时产生的不规则条纹。当用数码相机拍摄数字显示设备时，相机感光元件和显示设备之间产生混叠，便很容易出现严重影响拍摄图像质量的摩尔纹。由于其形状不规则、颜色多样、密度各异等特点，摩尔纹很难被去除。

现有的去除屏摄图像中摩尔纹的方法主要分为两类：

一类是传统方法，例如：在相机镜头前放置抗混叠滤波器，使用优化图像ISP(Image Signal Processing)过程中的插值算法，以及低秩稀疏矩阵分解等后处理方法；

另一类方法是使用卷积神经网络(CNN)来直接学习摩尔纹图像到对应的干净图像之间的映射。然而，这类方法需要大量的成对并严格对齐的带摩尔纹的图片和干净图片来训练网络。但在现有的研究中，基于此方法的卷积神经网络都是对sRGB域的摩尔纹图像进行处理。由于不同显示屏的显色问题以及sRGB域图像在ISP过程中的非线性处理，sRGB域的屏摄图像与直接截图或保存得到的干净图像之间存在较为严重的色差，导致网络在完成去摩尔纹任务的同时很难恢复出原有的颜色。

Raw域图像包含了图像最原始的信息，未经过ISP过程中的非线性处理；因此在Raw域屏摄图像上进行处理，能更好地实现摩尔纹的去除及颜色的恢复。

发明内容

为克服现有技术的不足，本发明旨在提供一种面向Raw域的屏摄图像摩尔纹去除方法，使用创建的严格对齐具有分类标签的Raw域摩尔纹数据集，分成分类网络、去摩尔纹网络和ISP网络三部分实现数据的分类、摩尔纹的去除与Raw到sRGB的转换，实现在去除摩尔纹的同时完成Raw到sRGB的转换及颜色恢复。

本发明为解决上述问题而采取的技术方案如下：

一种面向Raw域的屏摄图像摩尔纹去除方法，该方法包括以下步骤：

步骤1、构建Raw域去摩尔纹网络RDNet，该RDNet网络的整体结构由数据分类网络、多尺度去摩尔纹网络和ISP网络组成；

步骤2、将训练数据输入到预训练好的分类网络中，获得训练数据的分类标签，再将分类标签与训练数据共同输入Raw域去摩尔纹网络RDNet，在网络训练阶段分别设置多尺度去摩尔纹网络和ISP网络的学习率和各部分损失函数的权重；

步骤3、利用深度学习框架Pytorch训练Raw域去摩尔纹网络RDNet，首先训练ISP网络至收敛，生成ISP模型。后联合多尺度去摩尔纹网络与ISP网络模型共同训练，此阶段只更新多尺度去摩尔纹网络部分权重，ISP模型权重不变，直到损失收敛，生成Raw域去摩尔纹训练模型；

步骤4、将测试集中的Raw域摩尔纹屏摄图像输入Raw域去摩尔纹网络RDNet，通过分类模型获得图像类别标签，再通过多尺度去摩尔纹网络得到Raw域去摩尔纹图像；再将Raw域去摩尔纹图像输入到ISP网络中，得到sRGB域去摩尔纹图像。

与现有技术相比，本发明能够达成以下的有益技术效果：

1)根据摩尔纹频率分布广泛的特点，去除不同尺度的摩尔纹；