[发明专利]一种基于深度学习的图像反向恢复方法

权利要求书

1.一种基于深度学习的图像反向恢复方法，其特征在于，包括以下步骤：

S1：输入RGB图像；

S2：根据所述RGB图像获取噪声特征图；

S3：利用所述RGB图像和噪声特征图，采用多任务框架的深度学习网络同时对所述RGB图像执行操作分类和边界框回归，得到RGB图像中被篡改的图像和区域；

S4：输出被篡改的图像和区域；

S5：采用U型深度卷积神经网络对被篡改的图像进行复原；

步骤S3中所述多任务框架的深度学习网络分为RGB流和噪声流，其中所述RGB流的输入为所述RGB图像，所述噪声流的输入为所述噪声特征图，所述RGB流和噪声流输出的特征应用于双线性池，双线性池输出是其中，f_RGB是RGB流的RoI特征，f_N是噪声流的RoI特征，再利用求和池化在分类之前挤压空间特征，在转发到完全连接的层之前，应用规范化的带符号的平方根和L2得到RGB流的RoI特征和噪声流的RoI特征，用XG-Boost层替代双线性池中的softmax层，再XG-Boost层之后获得RoI区域的预测类别，最后使用交叉熵损失进行操作分类和使用平滑L1损失进行包围盒回归。

2.根据权利要求1所述的基于深度学习的图像反向恢复方法，其特征在于，步骤S2中，所述RGB图像通过SRM滤波器层获得噪声特征图。

3.根据权利要求2所述的基于深度学习的图像反向恢复方法，其特征在于，所述RGB图像通过SRM滤波器层获得噪声特征图，具体为：

噪声是由像素值和该像素值的估计值之间的残差建模的，该估计值是通过仅插值相邻像素的值而产生的；

从30个基本滤波器开始，随着非线性操作，滤波后附近输出的最大值和最小值，SRM滤波器收集基本噪声特征，SRM滤波器对基本滤波器的输出进行量化和截断，并提取附近的同现信息作为最终特征。

4.根据权利要求1所述的基于深度学习的图像反向恢复方法，其特征在于，步骤S3中利用所述RGB图像和噪声特征图时，先调整RGB图像和噪声特征图的大小，使得较短的长度等于600像素，使用四个锚秤大小从82、162、322到642，长宽比为1:2、1:1和2:1。

5.根据权利要求1所述的基于深度学习的图像反向恢复方法，其特征在于，步骤S3中，先在合成数据集上预先训练所述多任务框架的深度学习网络，使用COCO的图像和注释自动创建一个合成数据集，使用分割注释从COCO中随机选择对象，然后复制并粘贴到其他图像中，分割90％为训练集，10％为测试集。

6.根据权利要求5所述的基于深度学习的图像反向恢复方法，其特征在于，所述RGB流是一个单一的Faster R-CNN网络，用于边界框回归和操作分类，使用ResNet101网络从输入的RGB图像中学习特征，最后一个卷积层的输出特征用于操纵分类，RGB流中的RPN网络利用这些特征为包围盒回归提出RoI，RPN网络的损失定义为：

其中g_i表示锚i是小批量潜在操纵区域的概率，认为锚i的基本事实标签为正，术语f_i、分别是锚i和地面真实4维包围盒坐标，loss表示RPN网络和L_reg表示平滑L1的交叉熵损失提案边界框的回归损失，N_cls表示RPN网络中一个小批量的大小，N_reg是锚点位置的数量，术语λ是平衡两个损耗的超参数，设置为10。

7.根据权利要求6所述的基于深度学习的图像反向恢复方法，其特征在于，所述噪声流的主干卷积网络架构与RGB流相同，并且共享一个RoI汇集层，只使用RGB通道用于边界框回归。