[发明专利]一种全局特征引导的多任务篡改图像检测方法

权利要求书

1.一种全局特征引导的多任务篡改图像检测方法，其特征在于，利用基于Transformer的全局特征提取层学习像素间相关性为像素提供不同的关注度，使网络更加聚焦拼接痕迹信息；引入自适应融合机制有效避免冗余信息带来的干扰；全局感知模块从整体对篡改区域进行感知；采用多任务架构从全局和局部对拼接特征进行整体感知和细节学习，与任务对应的损失函数指导网络优化以得到较好的检测效果，包括以下步骤：

步骤1：构造基于Transformer的编码器，利用全局特征提取层得到篡改痕迹的多尺度特征；

步骤2：构造基于高频分量约束的卷积层，获得图像中的高频残差分量；并将其与步骤1所获得的多尺度特征在特征通道方向上进行堆叠；

步骤3：构造基于自适应特征融合模块的解码器D_edge和D_area，分别用于定位篡改边缘和定位篡改区域；

步骤4：构造全局感知模块，对多尺度特征进行维度变化使其维度一致，用于预测篡改区域占比值；

步骤5：将步骤3-4所获结果使用多任务学习方法，同时实现篡改边缘定位、篡改区域定位和篡改区域占比值预测三个任务；

步骤1中，预设全局特征提取层的层数为n,提取的具体方法为：

(1)预设滑动窗口的大小滑动步长填充大小使用滑动窗口得到重叠分块，保持块与块之间的局部连续性并获得层次特征图；

(2)预设特征缩放系数使用自注意力机制计算图像像素之间的相关性系数，为图像全体像素分配权重：

其中，x_in、x_out分别为该过程的输入和输出，Q、K、V是x_in的线性映射，其维度均为N＝H×W，C为x_in的通道数，H和W分别为图像的长和宽；x_in和x_out维度相同，均为x_out将作为下一步的输入；

(3)使用前馈模块为编码器提供输入图像分块的相对位置信息：

y_out＝y_in+MLP(σ(Conv(MLP(y_in))))；

其中，分别表示前馈模块的输入和输出,MLP(·)表示多层感知机，σ(·)为激活函数；Conv(·)为卷积，提供重叠块位置信息；

步骤4中，全局感知模块的具体方法为：

(1)使用空间金字塔池化将输入特征调整为维度相同的特征向量为全局特征提取层的数量，为调整后的维度；

(2)将f′_i按通道方向堆叠，得到多通道特征向量为输出特征图f′_i的数量；

(3)利用1×1卷积核对f进行降维，其输出结果的维度变为

(4)使用全连接层得到篡改区域占比值的预测结果P_p，P_p∈[0，1]表示预测的伪造区域在整张图像中的面积占比。

2.如权利要求1所述的一种全局特征引导的多任务篡改图像检测方法，其特征在于，步骤2中，高频分量约束的卷积层的具体参数为：

3.如权利要求1所述的一种全局特征引导的多任务篡改图像检测方法，其特征在于，步骤3中，自适应特征融合模块的具体方法为：

F′_h＝F_h+B_h[A_h(F_h)×A_l(UP(F_l))]，

F′_l＝F_l+B_l[A_h(F_h)×A_l(UP(F_l))]；

其中，A_l、B_l、A_h、B_h由3×3的卷积、批处理归一化和修正线性单元组成；和为两个尺寸的输入特征，则对应输出特征为和UP(·)为上采样，采用双线性插值。