[发明专利]图像处理方法、装置、设备、存储介质及计算机程序产品

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像的深度图，并对所述第一图像和第二图像进行处理，得到相机运动变化矩阵；所述第一图像和所述第二图像为针对运动物体拍摄得到的相邻图像帧，所述相机运动变化矩阵用于指示所述第一图像和所述第二图像所对应视角下的相机运动变化；

对所述第一图像和预测图像进行处理，得到物体运动变化矩阵；所述预测图像是基于所述深度图、所述相机运动变化矩阵、所述第一图像和所述第二图像确定的，所述物体运动变化矩阵用于指示所述预测图像中的所述运动物体相对所述第一图像中的所述运动物体的运动变化；所述预测图像为所述第二图像相对所述第一图像消除相机运动影响后的图像；

基于所述物体运动变化矩阵和所述第一图像确定目标运动变化信息；所述目标运动变化信息用于指示所述第二图像中的所述运动物体相对所述第一图像中的所述运动物体的运动变化。

2.根据权利要求1所述的方法，其特征在于，所述物体运动变化矩阵包括刚性运动变化矩阵和非刚性运动变化矩阵，所述对所述第一图像和预测图像进行处理，得到物体运动变化矩阵，包括：

对所述第一图像和第一预测图像进行处理，得到刚性运动变化矩阵；所述第一预测图像是基于所述深度图、所述相机运动变化矩阵、所述第一图像和所述第二图像确定的，所述第一预测图像为所述第二图像相对所述第一图像消除相机运动影响后的图像；所述刚性运动变化矩阵用于指示所述第一预测图像中的所述运动物体相对所述第一图像中的所述运动物体的刚性运动变化；

对所述第一图像和第二预测图像进行处理，得到非刚性运动变化矩阵；所述第二预测图像是基于所述深度图、所述相机运动变化矩阵、所述刚性运动变化矩阵、所述第一图像和所述第二图像确定的，所述第二预测图像为所述第二图像相对所述第一图像消除相机运动影响和物体刚性运动影响后的图像；所述非刚性运动变化矩阵用于指示所述第二预测图像中的所述运动物体相对所述第一图像中的所述运动物体的非刚性运动变化。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

基于所述深度图、所述相机运动变化矩阵，确定所述第一图像和所述第二图像之间各个像素的第一对应关系；

基于所述第一对应关系，利用逆向映射将所述第二图像中的各个像素映射到所述第一图像中，生成所述第一预测图像。

4.根据权利要求2或3所述的方法，其特征在于，所述对所述第一图像和第一预测图像进行处理，得到刚性运动变化矩阵，包括：

提取所述第一图像中所述运动物体所在图像区域的第一图像特征，以及提取所述第一预测图像中所述运动物体所在图像区域的第二图像特征；

将所述第一图像特征和所述第二图像特征进行拼接，得到拼接图像特征；

将所述拼接图像特征输入刚性运动预测网络中进行处理，得到刚性运动变化矩阵。

5.根据权利要求4所述的方法，其特征在于，所述对所述第一图像和第二预测图像进行处理，得到非刚性运动变化矩阵，包括：

基于所述深度图、所述相机运动变化矩阵和所述刚性运动变化矩阵，确定所述第一图像和所述第二图像之间各个像素的第二对应关系；

基于所述第二对应关系，利用逆向映射将所述第二图像中的各个像素映射到所述第一图像中，确定所述第二预测图像；

利用非刚性运动预测网络，对所述第一图像中所述运动物体所在图像区域的图像特征以及所述第二图像中所述运动物体所在图像区域的图像特征进行处理，得到非刚性运动变化矩阵。

6.根据权利要求1所述的方法，其特征在于，所述物体运动变化矩阵包括刚性运动变化矩阵和非刚性运动变化矩阵，所述基于所述物体运动变化矩阵和所述第一图像确定目标运动变化信息，包括：

获取第一图像的初始图像矩阵；

将所述初始图像矩阵和所述非刚性运动变化矩阵进行求和处理，得到所述第一图像的中间图像矩阵；

将所述中间图像矩阵和所述刚性运动变化矩阵进行求积处理，得到所述第一图像的目标图像矩阵；

基于所述目标图像矩阵和所述第一图像矩阵，确定所述目标运动变化信息。