[发明专利]一种针对实时视频流的图像超分辨率重建方法、装置

权利要求书

1.一种针对实时视频流的图像超分辨率重建方法，其特征在于，具体包括如下步骤：

1)对作为训练样本的原始高分辨率图像X进行图像预处理，得到所述原始高分辨率图像X对应的亮度通道图像X_y和多通道图像Y_mc；

2)将每张所述亮度通道图像X_y和其对应的所述多通道图像Y_mc生成为训练集；

3)将所述训练集中的所述多通道图像Y_mc输入到一神经网络中，网络预测输出高分辨率图像

4)根据关联同张所述原始高分辨率图像X的所述亮度通道图像X_y和所述高分辨率图像的图像差异，计算所述神经网络的预测损失，并根据损失结果调整所述神经网络的网络参数；

5)重复步骤1)-3)，直至所述神经网络的预测损失值小于一预设阈值后，完成对神经网络模型的迭代训练，最终训练形成一图像超分辨率重建模型；

6)获取视频帧图像，并提取所述视频帧图像的所述亮度通道图像X_y、蓝色通道图像C_b和红色通道图像C_r；

7)将提取到的关联所述视频帧图像的所述亮度通道图像X_y作为所述图像超分辨率重建模型的输入，模型输出预测到的关联所述视频帧图像的所述高分辨率图像

8)将关联所述视频帧图像的所述高分辨率图像与步骤6)提取的关联同张所述视频帧图像的所述蓝色通道图像C_b和所述红色通道图像C_r进行图像合并，然后将合并图像转换为RGB颜色空间下的超分辨率图像。

2.根据权利要求1所述的一种针对实时视频流的图像超分辨率重建方法，其特征在于，步骤1)中，对作为训练样本的所述原始高分辨率图像X进行图像预处理的方法步骤具体包括：

1.1)将作为训练样本的所述原始高分辨率图像X从RGB颜色空间转换到YCbCr颜色空间，并提取YCbCr颜色空间下的所述原始高分辨率图像X的所述亮度通道图像X_y；

1.2)对提取到的所述亮度通道图像X_y进行下采样，得到所述亮度通道图像X_y对应的低分辨率图像X_LR；

1.3)对所述低分辨率图像X_LR进行三种不同强度的图像锐化，得到关联同张所述低分辨率图像X_LR的3张锐化图像；

1.4)对锐化前的所述低分辨率图像X_LR以及锐化后的每张所述锐化图像分别进行邻近插值、双线性插值和双立方插值，得到同张所述低分辨率图像X_LR对应的12张插值图像；

1.5)将12张所述插值图像组合构成为所述低分辨率图像X_LR对应的所述多通道图像Y_mc。

3.根据权利要求1所述的一种针对实时视频流的图像超分辨率重建方法，其特征在于，步骤4)中，以MSE均方误差为损失函数计算所述神经网络的预测损失，所述损失函数通过以下公式表达：

上式中，表示所述神经网络对所述训练集中的第i张所述多通道图像Y_mc进行预测输出的高分辨率图像；

X_yⁱ表示与第i张所述多通道图像Y_mc具有关联关系的所述原始高分辨率图像X对应的亮度通道图像；

i表示所述训练集中的第i张所述多通道图像Y_mc；

N表示所述训练集中的所述多通道图像Y_mc的数量。