[发明专利]基于渐进优化网络的车窗图像细节增强方法及其装置

摘要

本发明公开了一种基于渐进优化网络的车窗图像细节增强方法及其装置，其方法步骤包括：通过对较小的低分辨率车窗图像进行多次重建放大，然后计算每次重建放大的图像与对应的降采样图像的均方误差，利用随机梯度下降法或批量梯度下降法训练渐进优化网络，以实现对交通监控视频中的车窗图像重建为高清车窗图像。本发明能提高基于深度学习的超分辨率网络的性能，从而能把监控视频中获取的车窗图像重建为超大尺度放大的高质量的清晰车窗图像。

主权项

1.一种基于渐进优化网络的车窗图像细节增强方法，其特征是按如下步骤进行：步骤1、从数据库中获取m张高清车窗图像X＝{x_k|k＝1,2,…m}，其中，x_k表示第k张高清车窗图像；对所述第k张高清车窗图像x_k进行n次降采样处理，得到第k张高清车窗图像的n张降采样图像从而得到m张高清车窗图像的n张降采样图像集合其中，表示对第k张高清车窗图像x_k进行n‑j次降采样后得到第k张高清车窗图像x_k的第j层的降采样车窗图像；将第k张高清车窗图像的第0层的降采样车窗图像作为渐进优化网络的输入图像，将第k张高清车窗图像的n次降采样图像作为标签，从而构建第k对训练样本从而构建m对训练样本；步骤2、构建渐进优化网络，包括：一个输入模块、n个重建模块、n个放大模块、n个输出模块；步骤3、定义变量i，初始化i＝1；步骤4、将所述m对训练样本输入到渐进优化网络中，其中，m张输入图像经过所述输入模块，得到第0层的m×S₀张特征图；步骤5、将所述第0层的m×S₀张特征图输入第i个重建模块，得到第i层的m×S_i张重建特征图；步骤6、将所述第i层的m×S_i张重建特征图输入第i个放大模块，得到第i层的m×S_i张放大特征图；步骤7、将所述第i层的m×S_i张放大特征图输入第i个输出模块，得到第i层的m张输出图像；计算所述第i层的m张输出图像分别与对应的m张高清车窗图像X的第i层的降采样图像的均方误差，得到m张高清车窗图像的第i个均方误差结果；步骤8、将所述第i层的m×S_i张放大特征图输入第i+1个重建模块，得到第i+1层的m×S_i+1张重建特征图；步骤9、将i+1赋值给i，并判断i＝n是否成立，若成立，则表示获得m张高清车窗图像的n‑1个均方误差结果，并执行步骤10；否则，执行步骤6；步骤10、将第n层的m×S_n张重建特征图输入第n个放大模块，得到第n层的m×S_n张放大特征图；步骤11、将第n层的m×S_n张放大特征图输入第n个输出模块，得到第n层的m张高分辨率车窗图像；步骤12、计算第n层的m张高分辨率车窗图像分别与m张高清车窗图像X的均方误差，得到m张高清车窗图像的第n个均方误差结果；步骤13、计算m张高清车窗图像的n个均方误差结果的均值，并作为所述渐进优化网络的损失函数；基于所述损失函数，利用随机梯度下降法或批量梯度下降法训练所述渐进优化网络，得到训练后的渐进优化网络，从而利用所述训练后的渐进优化网络实现对交通监控视频中的车窗图像重建为高清车窗图像。