[发明专利]一种视频插帧处理方法

说明书

本发明涉及图像处理技术领域，具体涉及一种视频插帧处理方法，通过先将原视频的两帧图像进行简单地相似度对比，判断两帧画面之间的是否存在大比例像素变化的情况，从而确定背景有无变化，如果不存在画面大比例像素变化，则采用现有的光流法补帧；如果存在的话，则利用提取变化前和变化后的边界，将原图像的边界推向变化后的边界，并从中提取出多张插帧图像，从而对两帧图像之间进行补帧，由于不需要采集光流信息，同时不需要对画面中的运动物体进行识别，因此计算量较小，且可运用范围广泛。

技术领域

本发明涉及图像处理技术领域，具体是一种视频插帧处理方法。

背景技术

在网络状况不理想的情况下，用户为保证视频画面质量往往需要对视频进行主动降帧，视频数据以较低码率进行传输，使得视频高分辨率与高帧率不能同时满足，影响视频的观看效果，因此需要对视频进行插帧，以保证视频清晰流畅播放。现有技术中视频插帧技术通常需要对场景中的物体进行运动估计，并利用运动补偿算法将物体插入生成帧的正确位置，因此插帧效果很大程度依赖于运动估计与补偿的好坏，现有的运动补偿算法中的运动捕捉一般采用光流算法实现，但是现有的光流算法的对于视频中背景变化与运动物体同时存在时，处理效果较差。

发明内容

有鉴于此，本发明的目的是提供一种视频插帧处理方法，能够在存在光暗变化的复杂场景中对运动物体进行有效地补偿。

本发明的一种视频插帧处理方法，包括步骤

S1，从视频文件中提取其中两帧在时间轴上相邻的图像A和B，将图像A和图像B进行二值化处理，获得图像A和图像B中各个像素的灰度值，其中图像A在时间轴上早于图像B；

S2，以图像A和图像B的左下角的一个像素为原点分别建立二维坐标X-Y和X’-Y’，将图像A和图像B的相同坐标的像素进行灰度的差值运算，将获得的差值的绝对值组成一个差值灰度图像；

S3，对差值灰度图像内的利用差值产生的虚拟像素进行灰度值统计：

S31，如果灰度值大于灰度阈值α的虚拟像素的占比小于阈值n，则直接采用光流法对原图像A和图像B进行运动补偿并进行插帧；

S32，如果灰度值大于灰度阈值α的虚拟像素的占比大于阈值n，则进行如下步骤进行补帧；

S321，从差值灰度图像中标记出所有灰度值大于灰度阈值β的虚拟像素，并提取出虚拟像素的坐标，并将该坐标还原至图像A中的对应像素A(x,y)，将图像B中对应坐标的像素B(x’,y’)的灰度值作为目标值gray2标注至像素A(x,y)中，而像素A(x,y)原本的灰度值则作为初始值gray1，得到图像A中标注后的像素为A[(x,y)，gray1-gray2]；

S322，在图像A中根据灰度值提取出物体的第一边界，同时在图像A中提取出被标注的所有像素的第二边界；

S323，如果第一边界与第二边界相交，则第一边界与第二边界重合部分的图像的边界中属于第一边界的部分为保持边界，第一边界的其余部分为运动边界；第一边界与第二边界重合部分的图像的边界中属于第二边界的部分为运动边界，第二边界的其他部分为保持边界；

S3231，提取出第二边界所围成的多个图形，并提取出各个图形的质心，质心的坐标为A0(x0,y0)，位于运动边界上的所有的被标记像素开始在单位时间内的灰度值从初始值gray1变为目标值gray2，出现新的运动边界后位于新的运动边界上的像素同样在单位时间内的灰度值从初始值gray1变为目标值gray2，持续时间为t，此时保留变化后的图像，作为第一插帧图像A1，并还原图像的RGB值；

S3232，提取出运动后的新的第二边界围成的各个图形的质心，重复多次步骤S3231，保留变化后的多个图像作为多个插帧图像A2-An；

S4，将从步骤S3中获取的插帧图像插入至图像A和图像B之间进行补帧。