[发明专利]全景视频图像处理方法、装置、电子设备及介质

权利要求书

1.一种全景视频图像处理方法，其特征在于，所述方法包括：

获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的N个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像，N为大于1的整数；

获取N个目标图像帧，所述N个目标图像帧为通过所述N个摄像头在所述目标时刻分别采集的图像；

根据所述目标预测拼接参数，对所述N个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。

2.根据权利要求1所述的方法，其特征在于，所述获取目标预测拼接参数，包括：

获取N个第一边缘图像帧和N个第二边缘图像帧，所述N个第一边缘图像帧中在相邻拍摄位置采集的任意两个第一边缘图像帧存在第一重叠图像区域，所述N个第二边缘图像帧中在相邻拍摄位置采集的任意两个第二边缘图像帧存在第二重叠图像区域，所述N个第一边缘图像帧为通过所述N个摄像头在所述第一时刻采集的图像，所述第二边缘图像帧中的每个第二边缘图像帧为所述N个第一边缘图像帧中与其对应的一个第一边缘图像帧的前一帧图像；

针对每个所述第一边缘图像帧，基于光流估计网络，对所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧进行光流估计，以获取在所述目标时刻的N个光流估计帧；

根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先训练的拼接参数变化预测网络，获取拼接参数变化预测结果信息；

根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数，包括：

在所述拼接参数变化预测结果信息指示拼接参数未发生变化的情况下，将在所述第一时刻的第二全景视频图像对应的拼接参数确定为所述目标预测拼接参数。

4.根据权利要求2所述的方法，其特征在于，所述根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数，包括：

在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数。

5.根据权利要求4所述的方法，其特征在于，在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数，包括：

在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，针对每个所述第一边缘图像帧，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先获取的图像生成网络，得到N个所述第一边缘图像帧分别对应的预测图像帧；

采用图像配准算法和图像拼接算法，对N个所述预测图像帧进行处理，得到预测拼接图像；

根据所述预测拼接图像，得到所述目标预测拼接参数。

6.根据权利要求2所述的方法，其特征在于，所述获取N个第一边缘图像帧和N个第二边缘图像帧之前，所述方法还包括：

获取N个第一图像帧和N个第二图像帧，所述N个第一图像帧中的每个第一图像帧为所述N个摄像头中的一个摄像头在所述第一时刻采集的全尺寸图像，所述N个第二图像帧中的每个第二图像帧为所述N个摄像头中的一个摄像头在第二时刻采集的全尺寸图像，所述第二时刻为与所述第一时刻相邻的前一时刻；

所述获取N个第一边缘图像帧和N个第二边缘图像帧，包括：

根据所述第一重叠图像区域，分别对所述N个第一图像帧裁剪，得到所述N个第一边缘图像帧；

根据所述第二重叠图像区域，分别对所述N个第二图像帧裁剪，得到所述N个第二边缘图像帧。