[发明专利]一种车牌图像的超分辨率重建方法和装置

摘要

本公开是一种车牌图像的超分辨率重建方法和装置，涉及图像处理领域，应用于终端。该方法包括：首先通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取；其次，通过依次串联的N个相同的残差采样块和第二卷积层进行深度特征提取，残差采样块内构建的不同分支充分利用了特征的尺度和深度信息；最后，通过重建模块对特征提取模块得到的多个深层特征图进行逐级倍数放大，根据多个高分辨率特征图得到重建的目标高分辨率车牌图像。本公开通过对低分辨率车牌图像进行超分辨率重建处理，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。

主权项

1.一种车牌图像的超分辨率重建方法，其特征在于，应用于终端，所述终端上部署有图像处理网络，所述图像处理网络包括特征提取模块和重建模块，所述特征提取模块包括连接的初始化特征提取模块和深度特征提取模块，所述初始化特征提取模块包括第一卷积层，所述深度特征提取模块包括依次串联的N个相同的残差采样块和一个第二卷积层，所述N为大于等于1的整数，每个残差采样块包括第一分支，第二分支和第三分支，所述第一分支包括依次连接的上采样层、第三卷积层和下采样层，所述第二分支包括第四卷积层，所述第三分支为恒等映射分支，所述恒等映射分支的输出特征图与输入特征图相同，所述方法包括：通过所述第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图；通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图；通过所述第二卷积层对所述第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将所述多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图；通过所述重建模块对所述特征提取模块得到的所述多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据所述多个高分辨率特征图得到目标高分辨率车牌图像，所述目标高分辨率车牌图像为通过所述图像处理网络对所述低分辨率车牌图像进行超分辨率重建得到的车牌图像；其中，所述通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图，包括：通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过所述第i个残差采样块中的第三分支对所述多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取所述第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，所述多个目标特征图为所述多个浅层特征图，当i不等于1时，所述多个目标特征图为第i‑1个残差采样块输出的多个局部第四深层特征图。