[发明专利]一种视点图像处理方法及相关设备

权利要求书

1.一种视点图像处理方法，其特征在于，包括：

获取至少两个第一视点图像，所述至少两个第一视点图像包括分别在所述至少两个视点位置采集到的图像；

将所述至少两个第一视点图像和待合成的第二视点图像的位置信息输入虚拟视点合成网络；其中，所述虚拟视点合成网络为基于所述至少两个第一视点图像中每一个像素的自适应卷积核来合成所述第二视点图像的网络；所述位置信息表征所述第二视点图像的视点位置，所述第二视点图像在目标区域内，所述目标区域包括所述至少两个第一视点图像组成的区域；

通过所述虚拟视点合成网络计算得到所述第二视点图像。

2.根据权利要求1所述方法，其特征在于，所述通过所述虚拟视点合成网络计算得到所述第二视点图像，包括：

获取所述至少两个第一视点图像之间的几何特征矩阵，所述几何特征矩阵为用于表征所述至少两个第一视点图像的像素之间几何位置的关系信息的矩阵；

根据所述几何特征矩阵和所述位置信息生成所述至少两个第一视点图像中每一个像素的自适应卷积核；

根据所述自适应卷积核和所述至少两个第一视点图像的像素生成所述至少两个待处理的虚拟合成像素矩阵；

将所述至少两个待处理的虚拟合成像素矩阵合成所述第二视点图像。

3.根据权利要求2所述方法，其特征在于，所述获取所述至少两个第一视点图像之间的几何特征矩阵，包括：

分别提取所述至少两个第一视点图像中的特征得到所述至少两个的特征矩阵；

将所述至少两个的特征矩阵中的任意每两个特征矩阵都执行互相关运算得到一个或多个运算后的特征矩阵；

在得到一个运算后的特征矩阵的情况下，将所述一个运算后的特征矩阵作为所述几何特征矩阵；在得到多个运算后的特征矩阵的情况下，根据所述多个运算后的特征矩阵计算得到所述几何特征矩阵。

4.根据权利要求2所述方法，其特征在于，所述获取所述至少两个第一视点图像之间的几何特征矩阵，包括：

分别提取所述至少两个第一视点图像的像素得到所述至少两个的像素矩阵；

将所述至少两个的像素矩阵组合成一个混合像素矩阵；

将所述混合像素矩阵输入第一预设卷积神经网络模型得到所述几何特征矩阵。

5.根据权利要求2至4任一项所述方法，其特征在于，所述待合成的第二视点图像的位置信息为坐标值，所述根据所述几何特征矩阵和待合成的第二视点图像的位置信息生成所述至少两个第一视点图像中每一个像素的自适应卷积核，包括：

将所述坐标值扩展为与所述几何特征矩阵的行数和列数相同的位置矩阵；

将所述位置矩阵和所述几何特征矩阵组成一个混合信息矩阵；

将所述混合信息矩阵分别输入所述至少两个的第二预设卷积神经网络模型中，所述至少两个的第二预设卷积神经网络模型结构相同，参数不同；

根据所述至少两个的第二预设卷积神经网络模型的输出结果确定所述至少两个的第一视点图像中每一个像素的自适应卷积核。

6.根据权利要求2至5任一项所述方法，其特征在于，所述根据所述自适应卷积核和所述至少两个第一视点图像的像素生成所述至少两个待处理的虚拟合成像素矩阵，包括：

将所述至少两个第一视点图像中的每一个像素的自适应卷积核与以所述每一个像素为中心的像素矩阵一一对应地做卷积，得到所述每一个像素的像素位置对应的虚拟合成像素；所述像素矩阵的行数与所述每一个像素的自适应卷积核的行数相同，所述像素矩阵的列数与所述每一个像素的自适应卷积核的列数相同；

将得到的所述虚拟合成像素组成所述至少两个的虚拟合成像素矩阵。