[发明专利]基于注意力调制对抗网络的图像修复方法、模型和装置

权利要求书

1.一种基于注意力调制对抗网络的图像修复模型构建方法，其特征在于，具体包括以下步骤：

步骤1：采集多幅墓葬壁画的图像，获得墓葬壁画的数据集，将该数据集分为有实际破损的墓葬壁画和无实际破损的墓葬壁画两部分；

步骤2：将有实际破损的墓葬壁画图像分为训练集、测试集、验证集，并将训练集和测试集的墓葬壁画破损区使用标注工具标注出来，用于后续的检测模型训练；

步骤3：将无实际破损的墓葬壁画图像作为修复模型的训练集，并对这些图像进行处理，用于后续的修复模型训练；

步骤4：将步骤2得到的训练集和测试集以及相应标注好的图像破损区位置数据送入改进后的基于多重注意力机制的破损区检测网络中进行训练；所述改进后的基于多重注意力机制的破损区检测网络包括多重注意力模块和四叉树结构变换器模块；

步骤5：将步骤3中所述的修复模型的训练集和随机生成的二值掩码图像送入改进后的调制对抗生成网络中进行训练；

步骤6：对步骤2中的验证集进行处理，获得大小为512*512的有破损区域的墓葬壁画图像，并将该图片送入步骤4得到的训练好的墓葬壁画破损区检测模型中，该检测模型将检测到的破损区位置信息进行暂存，再直接转换为mask二值图；

步骤7：将步骤6中经过处理得到的墓葬壁画图像与该图像经过检测后得到的mask二值图一起送入步骤5中得到的训练好的墓葬壁画破损区修复网络，得到最终的修复好的墓葬壁画图像。

2.如权利要求1所述的基于注意力调制对抗网络的图像修复模型构建方法，其特征在于，所述步骤4中，所述多重注意力模块用于实现如下流程：

步骤411，将输入特征分成G个基数组，以控制输入和输出之间的连接，每一个基数组被进一步分成R个子组，则总的子组数为GR；对每个子组单独应用一系列变换则每一个子组的变化过程表示为其中X表示输入特征信息，i∈{1,2,…,GR}；

步骤412，在每个基数组的Split Attention模块中，输入特征G个基数组的组合可以通过跨多个子组的逐元素求和来获得，g∈{1,2,…,G}，则第g个基数组表示为：

其中，R表示一个基数组内的子组数即，H,W和C′表示子组块输出特征图的大小；

然后使用跨通道空间维度的全局平均池计算每个子组块特征图的平均值：

其中表示c∈{1,2,…,C′/G}中第g个基数组的第c个分量；

步骤413，对步骤412中的每个基数组分量进行加权融合，通过Concat函数将所有基数组沿着信道维度级联；

步骤414，将级联后的数据通过1x1卷积层压缩到特征图N＝[N¹,N²,…,N^G]，其具有与输入特征图相同的大小；再通过残差学习中的快捷连接生成多重注意力模块的输出，该快捷连接被称为输入的受损图像的粗掩模。

3.如权利要求1所述的基于注意力调制对抗网络的图像修复模型构建方法，其特征在于，所述步骤4中，所述四叉树结构变换器模块用于实现如下流程：

步骤421，特征金字塔将输入的受损图像及其估计的粗掩模作为输入，并通过常规卷积网络层输出三个尺度的特征图；

步骤422，对于级联方式的金字塔特征图的每个尺度，通过使用粗掩模和感兴趣区域特征，非相干检测器识别并细化非相干区域，输出为节点序列；根据检测到的非相干区域，以三级特征图的形式构建四叉树金字塔；如果较高级别特征图中的像素被预测为非连续节点，则该节点通过上采样被分解为相邻较低级别特征图的四个象限像素；通过从四叉树金字塔的三个层次收集所有非相干节点来构建节点序列；

步骤423，采用变换器模块对步骤422得到的节点序列中的每个四叉树节点进行编码处理得到编码序列；

步骤424，采用像素解码器对输出编码序列进行解码，以预测输入受损图像的精细掩模；像素解码器是具有两个隐藏层的简单多层感知器。

4.如权利要求1所述的基于注意力调制对抗网络的图像修复模型构建方法，其特征在于，所述步骤4中，将学习率设为0.00015625，在329999次迭代时的迭代模型作为最终的墓葬壁画破损区检测模型。