[发明专利]一种视频图像超分辨率重建方法及装置

说明书

本发明是关于一种视频图像超分辨率重建方法及装置，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。该方法利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量。

技术领域

本发明涉及视频图像处理方法技术领域，尤其涉及一种视频图像超分辨率重建方法及装置。

背景技术

随着我国平安城市建设的开展以及智慧城市建设的启动，遍布城市各个角落以及各种执法车辆上的摄像头捕捉的各种视频信息，在保障城市安全、提高城市管理效能等方面发挥了重要作用。由于目标物体的运动以及摄像头分辨率低的原因，摄像头获得的视频图像存在着模糊以及分辨率较低的退化现象，当从视频图像中获取目标物体的相关信息时，首先需要对这些视频图像进行超分辨率重建，获得超分辨率的图像，进而获得目标物体的相关信息。

目前的视频图像超分辨率重建方法是：获取同一场景连续多帧的低分辨率图像，根据所述视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个像元内连续多帧的亚像素图像；根据多帧亚像素图像的图像序列帧，选择目标物体，并进行块状目标的运动估计；根据运动估计结果，采用非均匀内插的重建算法，重建一幅超分辨图像。

由于摄像头的状态不同，获得的视频分为单动态视频和双动态视频两种，所述单动态视频是指摄像头固定不动，被拍摄物运动的视频图像，所述双动态视频是指摄像头和被拍摄物都运动的视频图像。上述视频图像超分辨率重建方法在处理单动态视频图像时，能够获得较清晰的图像，但是在处理双动态视频图像时，由于拍摄双动态视频图像的摄像头和被拍摄物体都在运动，致使视频图像退化现象更严重，导致在利用上述重建方法获得的超分辨图像中的目标物体的分辨率低。

发明内容

为克服相关技术中存在的问题，本发明提供一种视频图像超分辨率重建方法及装置。

根据本发明实施例的第一方面，提供一种视频图像超分辨率重建方法，包括：

获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；

从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；

衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；

将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；

对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。

优选地，所述衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像，包括：

计算所述连续多帧低分辨率目标物体图像的平均梯度；

对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；

将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。

优选地，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：