[发明专利]一种视频的超分辨率方法及装置

说明书

技术领域

本发明涉及视频超分辨率重建领域，尤其涉及一种视频的超分辨率方法及装置。

背景技术

超分辨率技术，是指克服成像设备或技术的限制，在低分辨率图像或视频的基础上生成更高分辨率的图像或视频。随着图像视频处理技术的日益成熟，用户对视频观看体验的要求也越来越高，用户不仅需要更加逼真的视觉效果，对画面细节信息的需求也逐渐增多，比如说，在视频监控领域，高分辨率的图像更有利于识别出感兴趣的目标。

目前，业界对超分辨率的方法作了广泛的研究，提出了各种重建方法，比如基于插值的方法，基于学习的方法，基于多帧融合的方法等等，特别是近年来对图像自相似性的探索引起了图像处理领域技术人员的关注，例如，Glasner等人提出了单帧图像的超分辨率方法，通过统计发现自然图像有自相似的特性，即单帧图像中的每一个小的图像块几乎总能在该图或其下采后的图像中找到一个或多个与之相似的块，通过这些相似的块就可以提供更多的信息为当前图像块的超分辨率作为参考。此方法虽解决了图像来源受到环境限制的问题，但是该方法在搜索相似图像块的时候仅考虑了像素值的整体差异，这样会导致图像出现锯齿等问题。

对上述单帧图像的超分辨率方法分析可知，在搜索相似图像块的时候仅考虑了像素值的整体差异，从而会导致图像出现锯齿等问题。另外，上述方法都不能很灵活的嵌入到多媒体播放设备中，这就大大降低了图像的视觉效果。

发明内容

本发明实施例提供了一种视频的超分辨率方法及装置，用以解决现有的超分辨率方法导致图像出现锯齿，降低视觉效果的问题。

基于上述问题，本发明实施例提供的一种视频的超分辨率方法，包括：对输入的视频序列进行下采样；对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为源图像块；分别在该源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及所述对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为待比较图像块；针对每个源图像块，利用该源图像块与各待比较图像块之间的像素值项和结构项，分别计算出该源图像块与各待比较图像块之间的相似距离，并将相似距离最小的待比较图像块确定为该源图像块的相似图像块；根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，所述第二视频帧分辨率高于所述该第一视频帧。

本发明实施例提供的一种视频的超分辨率装置，包括：下采样模块，用于对输入的视频序列进行下采样；第一确定模块，用于对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为源图像块；第二确定模块，用于分别在所述第一确定模块确定的该源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在所述下采样模块下采样后的视频序列中对应的视频帧以及所述对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为待比较图像块；第一计算模块，用于针对所述第一确定模块确定的每个源图像块，利用该源图像块与所述第二确定模块确定的各待比较图像块之间的像素值项和结构项，分别计算出该源图像块与各待比较图像块之间的相似距离；第三确定模块，用于将所述第一计算模块计算出的相似距离最小的待比较图像块确定为该源图像块的相似图像块；第二计算模块，用于根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，所述第二视频帧分辨率高于所述该第一视频帧。

本发明实施例的有益效果包括：本发明实施例提供的视频的超分辨率方法及装置，首先对输入视频序列先进行下采样，其次利用输入视频序列中每个第一视频帧确定出的源图像块与在源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及对应的视频帧的相邻视频帧中确定出的各待比较图像块之间的像素值项和结构项计算出源图像块与各待比较图像块之间的相似距离，相似距离最小的待比较图像块就是源图像块的相似图像块，最后再分别对每个第一视频帧中所有源图像块对应的各相似图像块以及对应的相似距离进行计算，得到包含第二视频帧的目标视频序列。可见，本发明的超分辨率方法，在搜索源图像块的相似图像块时，除考虑源图像块和待比较块的像素值项外，还考虑了源图像块和待比较块的结构项，即此方法结合了图像块的结构信息，避免出现锯齿问题，通过此方法可以得到分辨率较高的视频帧，提高了视频的视觉效果。

附图说明