[发明专利]全景图像的数字视频稳像方法、装置、设备及存储介质

说明书

本发明涉及一种全景图像的数字视频稳像方法、装置、设备及存储介质。其中，该方法包括：对图像序列进行运动轨迹估计，得到将图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数；计算将每帧图像刚性变换到图像序列中的参考帧图像的第二变换参数；根据每帧图像的一个或者多个相邻图像对应的第二变换参数对每帧图像的第二变换参数进行平滑处理，分别得到每帧图像对应的第三变换参数；根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列。通过本发明，解决了相关技术中电子防抖方法对较长的全景图像序列的去抖动效果不理想的问题，提高了对全景图像序列的去抖动效果。

技术领域

本发明实施例涉及图像处理技术领域，特别是涉及一种全景图像的数字视频稳像方法、装置、设备及计算机可读存储介质。

背景技术

随着手机上相机的性能越来越好，手机拍摄变得越来越普遍，很多场景下都已经替代了专业相机的地位，然而在运动场景中，人手持摄像机拍摄时，由于人是在运动，拍摄的晃动感极强，拍摄的视频非常抖动，严重影响视频的观看。

相关技术中视频去抖动的方式主要分为机械防抖、光学防抖和电子防抖三类。

机械防抖包括在相机外接三脚架、云台支架来进行物理去抖。然而，外接三脚架来进行去抖不仅成本会增加，而且在需要经常更换拍摄地点的情况下，也会带来不方便的问题。使用云台等支架虽然效果不错，但是成本太高。

光学防抖是通过在相机的镜头内置仪器感应相机的抖动，再通过调整镜头内透镜的位置而达到防抖效果；但是，在镜头内置仪器造成成本上升，并且在手机摄像头有限的空间中增加仪器难度很大。

电子防抖，又称为数字视频稳像，是指对随机抖动或随机运动的摄像机所获取的动态图像序列进行重新修改、排列，使其在显示器上更加平稳地显示的技术。电子防抖能够解决机械防抖或光学防抖导致的成本增加的问题。相关技术中的电子防抖方法，按照固定参考帧图像对图像序列中的每张图像进行运动估计，得到仿射变换矩阵，然后根据该仿射变换矩阵进行仿射变换，实现稳像。

在拍摄全景图像时，用户使用摄像机水平移动或者原地转动的方式拍摄图像。发明人在研究过程中发现，如果采用固定参考帧图像估计全景图像序列中的其他图像，由于摄像机水平移动或者原地转动导致的固定参考帧与其他图像的重叠区域变小，将导致对较长的全景图像序列的去抖动效果不理想。

发明内容

基于此，有必要针对相关技术中电子防抖方法对较长的全景图像序列的去抖动效果不理想的问题，提供一种全景图像的数字视频稳像方法、装置、设备及计算存储介质。

根据本发明实施例的一个方面，提供了一种全景图像的数字视频稳像方法，包括：

对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，所述图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合；

根据所述第一变换参数集合，计算将所述每帧图像刚性变换到所述图像序列中的参考帧图像的第二变换参数；

根据所述每帧图像的一个或者多个相邻图像对应的第二变换参数对所述每帧图像的第二变换参数进行平滑处理，分别得到所述每帧图像对应的第三变换参数；

根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列。

在一个实施例中，对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数包括：

在所述图像序列中的第一图像上选取特征点；

在所述图像序列中的第二图像上跟踪所述特征点，得到所述第二图像与所述第一图像中所述特征点的位置关系；其中，所述第一图像为所述第二图像的前一帧图像；