[发明专利]非均匀稀疏采样视频超分辨率方法

摘要

本发明公开了一种非均匀稀疏采样视频超分辨率方法，属于视频超分辨率技术领域，包括镜头(shot)检测和关键帧提取、原始图像进行模糊处理和下采样、非均匀采样的视觉模型建立、稀疏词典的构建、视频重构等关键技术，采用基于视网膜中央凹视觉的非均匀稀疏采样方法，实现对视频序列进行差异性稀疏采样,大幅度缩减原子个数，实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典(高分辨率参照副本)作为搭载的元数据，利用硬件支持的非线性Mipmap插值方法实时模拟生成Foveation图像，能够获取与高斯金字塔方法类似的结果，且计算开销更低。

主权项

1.一种非均匀稀疏采样视频超分辨率方法，其特征在于,包括如下步骤：S1，镜头检测和关键帧提取：从原始高清数字视频Fn中以镜头为单位提取关键帧Yn，并对原始帧进行方向滤波后进行下采样为Xnl，经压缩后作为基本层流传送；S2，对关键帧的原始图像进行模糊处理和下采样：通过模拟现实中图像的降质过程产生相应的低分辨率图像Y’nl，即通过对高分辨率图像进行模糊和下采样处理；分别在低分辨率图像和高分辨率图像的高频空间建立对应关系；对低分辨率图像Y’nl进行上插值使得高低分辨率图像Y’nh具有一样的大小；在低分辨率图像的一阶和二阶导数图像上以块的方式随机提取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样本；S3，非均匀采样的视觉模型建立：基于Foveation视觉模型的非均匀稀疏采样关键帧，采用视频图像的标准坐标系，建立非均匀采样的视觉模型，通过以视觉凹点Foveation为中心逐渐降低感知分辨率的采样过程，依据视觉皮层中神经元感受野的结构特性与图像几何结构特征来分配生成函数中自由参数的采样密度；同时，在编码端对图像高频部分边缘点进行密集采样，对非边缘部分进行随机抽样；S4，稀疏表示和词典设计：从人类视觉系统感知特性出发，选取二维Gabor函数作为字典的生成函数，建立了匹配各层面图像结构的Gabor感知多成分字典，包含平滑、边缘、纹理三种结构类型和UV色度及运动矢量的子成分字典；实时生成或根据移动终端设备屏幕的分辨率先验计算出具有高低分辨率的双词典作为搭载的元数据；S5，视频超分辨率重构：在客户端解码出基本层视频后，运用快速上采样算法，基于每一个视频镜头的上采样性能构建基本的全屏视频帧；根据来源于高清视频信息，增强每一帧的视频对象的边界和重要细节的质量；S4包括以下步骤，为了满足两个词典在稀疏表示下的同构性，算法针对数据进行改进，其中公式看成由两部分组成，Φ(x,α)对应为最小平方误差，即Ψ(α)为λ||α||₁，为了获得异构数据，对Ψ(α)进行改进，其中一个改进方向是利用在多核学习中发现的组特性，将其应用在改进惩罚因子Ψ(α)。