[发明专利]全景视频图像处理方法、装置、电子设备及介质

说明书

本公开涉及图像处理技术领域，具体涉及一种全景视频图像处理方法、装置、电子设备及介质，所述方法包括：获取目标预测拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的N个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像；获取N个目标图像帧，所述N个目标图像帧为通过所述N个摄像头在所述目标时刻分别采集的图像；根据所述目标预测拼接参数，对所述N个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。可以使用精准预测的拼接参数拼接未来时刻获取的多个图像，在保证降低全景视频图像的延迟的前提下，提高了拼接后的图像质量。

技术领域

本公开涉及图像处理技术领域，具体涉及一种全景视频图像处理方法、装置、电子设备及介质。

背景技术

随着全景相机技术的不断发展，全景相机的应用也越来越广泛。例如，在旅游业、安防领域等部署全景相机，通过全景相机向用户实时传送全景视频流，就能实现全景视频直播。

相关技术中，全景相机设置有4个拍摄摄像头，每个镜头对应的传感器分别获取图像帧，全景相机通过无线通信模块将采集的图像帧发送至云端服务器，云端服务器将采集的图像帧拼接后通过通信模块发送至用户设备。如此，在处于直播模式的场景下，全景相机可以持续采集连续的图像帧，并通过云端服务器拼接后再发送给用户设备，以实现全景视频的实时输出。

针对上述拼接全景视频的过程，需要进行图像配准和图像拼接，但在直播系统中持续的图像配准计算将带来巨大的延迟效应。目前，可以通过使用半静态更新的拼接参数以降低全景视频的拼接延迟，即直接沿用前一图像帧的拼接参数到当前图像帧的拼接过程，但在图像内容发生改变，尤其是在图像的边界区域内发生较大改变时，旧的拼接参数可能不再适用，而沿用旧的拼接参数将出现严重的拼接错误，从而会导致出现拼接后的图像质量较差的问题。

如此，在保证降低全景视频的延迟的前提下，如何提高拼接后的图像质量成为亟待解决的问题。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种全景视频图像处理方法、装置、电子设备及介质。

第一方面，本公开实施例中提供了一种全景视频图像处理方法。

具体地，所述方法包括：

获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的N个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像；

获取N个目标图像帧，所述N个目标图像帧为通过所述N个摄像头在所述目标时刻分别采集的图像；

根据所述目标预测拼接参数，对所述N个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。

在本公开实施例一实施方式中，所述获取目标预测拼接参数，包括：

获取N个第一边缘图像帧和N个第二边缘图像帧，所述N个第一边缘图像帧中在相邻拍摄位置采集的任意两个第一边缘图像帧存在第一重叠图像区域，所述N个第二边缘图像帧中在相邻拍摄位置采集的任意两个第二边缘图像帧存在第二重叠图像区域，所述N个第一边缘图像帧为通过所述N个摄像头在所述第一时刻采集的图像，所述第二边缘图像帧中的每个第二边缘图像帧为所述N个第一边缘图像帧中与其对应的一个第一边缘图像帧的前一帧图像；

针对每个所述第一边缘图像帧，基于光流估计网络，对所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧进行光流估计，以获取在所述目标时刻的N个光流估计帧；

根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先训练的拼接参数变化预测网络，获取拼接参数变化预测结果信息；