[发明专利]超分辨模型训练方法、图像识别方法、装置及设备

权利要求书

1.一种超分辨模型训练方法，其特征在于：包括：

获取多个样本数据，所述样本数据包括获取同一场景成对的高分辨率图像，低分辨率图像；

构建图像超分辨率模型：将含有多个卷积网络模块的深度神经网络模型分别对低分辨率图像和高分辨率图像的特征进行提取和映射，学习特征间非线性的映射关系，最终将提取到的特征进行加权融合；

构建目标方程：将低分辨率图像LR(x)输入到所述图像超分辨率模型中，获得超分辨率图像SR(x)，SR(x)与对应的高分辨率图像HR(x)计算损失用于约束网络的训练过程。

2.如权利要求1所述的超分辨模型训练方法，其特征在于：所述样本数据选择人脸数据集FFHQ-高清人脸数据集中部分人脸图像作为高分辨率图像，然后采用多倍下采样获得对应的下采样倍数的图像作为低分辨率图像，最终获得成对的高分辨率图像，低分辨率图像数据集。

3.如权利要求1或2所述的超分辨模型训练方法，其特征在于：选择亚像素卷积进行特征上采样，最终通过卷积操作将生成图像，进而构建人脸图像超分辨率模型。

4.如权利要求2所述的超分辨模型训练方法，其特征在于：将获取同一场景成对的高分辨率图像，低分辨率图像分别输入到高分辨率人脸图像模型和对应下采样的低分辨率图像模型；其中，采用的高清人脸数据集为1000张，输入的高分辨率图像大小为128*128；输入的低分辨率图像大小为32*32，低分辨图像是通过双线性插值方法将高分辨率图像下采样为低分辨率图像，进而获得成对的＜高分辨率对象，低分辨率对象＞训练数据。

5.如权利要求1、2或4所述的超分辨模型训练方法，其特征在于：所述图像超分辨率模型由浅层特征提取模块、非线性映射模块和图像重建模块组成。

6.如权利要求5中任一项所述的超分辨模型训练方法，其特征在于：所述低分辨率图像经过浅层特征提取模块提取，两层卷积激活网络得到浅层特征图m；浅层特征图m通过构建的非线性映射模块进行非线性的映射，其中非线性应映射模块由多个级联的残差蒸馏信息注意力模块组成，残差蒸馏信息注意力模块结构由残差信息蒸馏模块与ESAPA注意力模块组成，其中ESAPA注意力模块针对信息蒸馏网络针对性的构建的适配型注意力网络模块；

残差信息蒸馏模块用于逐步细化图像特征；对于每次蒸馏，对前一步的特征采用通道分割的操作，将特征分为两部分，一部分被保留，一部分传入下一步，且采用1×1卷积(Conv-1)进行信道缩减，传入下一步骤的卷积采用3×3卷积(Conv-3)；若输入的图像特征为F_in，则公式表示为：

F₁(dis)，F₁(co)＝D₁(l₁(F_in))；

F₂(dis)，F₂(co)＝D₂(l₂(F₁(co)))；

F₃(dis)，F₃(co)＝D₃(l₃(F₂(co)))；

F₄(dis)＝l₄(F₃(co))；

D_i＝D_L，D_R；

D_i(i＝1，2，3，4)表示第i次通道分割操作，其中D_i()操作分为3×3卷积D_L和1×1卷积D_R；D_L产生进行下一步处理的细化特征，是一个浅层残差模块SRB，残差块由一个3×3卷积核和激活层组成，D_R产生被保留的特征；l代表卷积操作，l_i(i＝4，2，3，4)表示第i次卷积操作；

F₁(dis)，F₁(co)、F₂(dis)，F₂(co)、F₃(dis)，F₃(co)、F₄(dis)代表四次通道分割操作所获得的特征；最终输出将所有保留特征通过堆叠操作堆叠到一起，得到残差信息蒸馏模块的输出特征：

F＝Concat(F₁(dis)，F₂(dis)，F₃(dis)，F₄(dis))；

ESAPA注意力模块具体步骤如下：

步骤一：使用1×1卷积降低通道数达到降低计算量的目的；

步骤二：使用步长为2的卷积和2×2最大池化以及卷积组，其中卷积组由7×7的最大池化操作与步长为3的卷积组成；

步骤三：空间注意力特征提取；

步骤四：对步骤三获得的特征进行空间特征的加权操作，考虑到RFDB模块有多个蒸馏操作后的特征输出，堆叠后获得空间注意力权重，再经过随机分组重新与蒸馏特征输出相乘拼接；

ESAPA注意力模块的输出特征表示为：

out₁＝f_ESAPA(F)；

最终，非线性映射基本单元的输出特征公式如下所示：

out₂＝f_ESAPA(f_RFDB(F_in))

其中，F_in是整个非线性映射基本单元的输入特征，out₂是非线性映射基本单元的输出特征；非线性映射模块由4个级联的非线性映射基本单元组成；

最终输出将4个级联的非线性映射基本单元的输出特征通过堆叠操作堆叠到一起，得到整个非线性映射模块的输出特征out；

图像重建模块根据上采样倍数选用不同的上采样网络，其中上采样操作为了降低计算量，选择亚像素卷积进行特征上采样，最终通过卷积操作生成图像；经过图像超分辨率模型重建后的图像的计算公式如下所示：

SR＝f_Scale(out)

f_Scale()表示上采样网络，out是整个非线性映射模块的输出特征，SR是重建的高分辨率图像；

构建目标方程：

L₁＝|HR-SR|

其中，HR表示原高分辨率图像，SR表示经过图像超分辨率模型重建后的图像；||符号表示绝对值，代表重建后的图像与原高分辨率图像的差异大小，通过该目标函数约束模型训练过程；L₁收敛代表图像超分辨率模型训练完成，模型性能达到最佳的效果。