[发明专利]视频图像的运动平滑处理方法、装置、设备及存储介质

说明书

本发明适用视频图像处理技术领域，提供了一种视频图像的运动平滑处理方法、装置、设备及存储介质，该方法包括：对视频流当前视频帧对应的当前原始四元数进行平滑处理，根据当前原始四元数、平滑得到的当前平滑四元数以及当前视频帧对应渲染视频帧的视场角参数，对平滑四元数队列进行平滑处理，根据处理后的平滑四元数队列和原始四元数队列，通过视场角参数计算算法获取下一视频帧对应渲染视频帧的视场角参数，当平滑四元数队列长度超过缓存帧帧数时，输出队列头对应的平滑四元数所对应的平滑视频帧图像，并将当前视频帧对应渲染视频帧的视场角参数设置为下一视频帧对应渲染视频帧的视场角参数，从而提高了视频图像抖动消除的实时性和防抖效果。

技术领域

本发明属于视频图像处理技术领域，尤其涉及一种视频图像的运动平滑处理方法、装置、设备及存储介质。

背景技术

随着科技的发展和社会的进步，移动设备已成为人们生活中不可或缺的部分，人们可以通过移动设备进行视频拍摄，记录生活中的点点滴滴以和朋友们分享，因此，视频拍摄已经渐渐成为很多用户进行社交分享和沟通交流的一种方式。虽然移动设备中摄像头配置越来越高，使得移动设备在静置状态下拍摄出的视频图像画面清晰、质量高，但当用户手持移动设备在走路或跑步或其他各种复杂运动场景下(例如，驾车行驶中车载放置)进行视频拍摄时，会导致移动设备不稳定，此时，录制出的视频数据往往存在抖动的现象，容易造成视频图像模糊，使得拍摄出的视频质量效果不理想。

在专利公开号为US10027893B2的发明专利申请文件中，公开了一种基于车载运动传感的移动设备实时视频稳定的方法，该方案虽然实现了可以根据未来的运动情况及时调整当前的角速度，避免突然出界而出现角速度变化不平滑的情况，但该方案在复杂剧烈的运动条件下难以平衡运动跟随和画面抖动消除，在专利申请号为CN202011541615.7的发明专利申请文件中，公开了一种视频图像的运动平滑处理方法、装置、设备及存储介质，该方案虽然解决了在复杂剧烈的运动条件下对运动跟随的实时平衡和画面抖动的实时消除，然而该方案在渲染视频视场角(Field of View，FOV)和原始视频FOV相差较小且运动抖动幅度较大时，由于用于平滑调整的空间过小，则很容易出现平滑度较差的问题。

发明内容

本发明的目的在于提供一种视频图像的运动平滑处理方法、装置、设备及存储介质，旨在解决由于现有技术在复杂运动场景下在渲染视频视场角和原始视频视场角相差较小时导致视频图像的抖动消除实时性不高、防抖效果不佳的问题。

一方面，本发明提供了一种视频图像的运动平滑处理方法，所述方法包括下述步骤：

获取视频流当前视频帧对应的当前相机姿态，并通过四元数表示所述当前相机姿态，得到所述当前视频帧对应的当前原始四元数；

从缓存帧的平滑四元数队列中获取所述当前视频帧对应的上一视频帧的平滑四元数，根据所述上一视频帧的平滑四元数对所述当前原始四元数进行平滑处理，得到所述当前视频帧对应的当前平滑四元数；

根据所述当前原始四元数、所述当前平滑四元数以及当前视频帧对应渲染视频帧的视场角参数，对所述平滑四元数队列进行平滑处理，得到处理后的平滑四元数队列；

根据所述处理后的平滑四元数队列和缓存帧的原始四元数队列，通过预设视场角参数计算算法获取下一视频帧对应渲染视频帧的视场角参数；

当所述处理后的平滑四元数队列的队列长度超过所述缓存帧的帧数时，输出所述处理后的平滑四元数队列中队列头对应的平滑四元数所对应的平滑视频帧图像，并将所述当前视频帧对应渲染视频帧的视场角参数设置为所述下一视频帧对应渲染视频帧的视场角参数，实现对所述下一视频帧对应渲染视频帧进行平滑和视场角渲染处理。

优选地，所述从缓存帧的平滑四元数队列中获取所述当前视频帧对应的上一视频帧的平滑四元数，根据所述上一视频帧的平滑四元数对所述当前原始四元数进行平滑处理的步骤包括：