[发明专利]使用神经网络进行逼真的图像透视变换

权利要求书

1.一种包括计算机的系统，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：

接收具有第一视角的图像；

经由深度神经网络生成与具有所述第一视角的所述图像对应的深度图；

经由所述深度神经网络，基于所述深度图生成点云表示；

将所述点云表示投影到与具有第二视角的图像对应的点云表示上；

生成与具有所述第二视角的所述图像对应的深度图；并且

基于与具有所述第二视角的所述图像对应的所述深度图和与具有所述第一视角的所述图像对应的语义分割图来生成具有所述第二视角的合成图像，其中所述第二视角与所述第一视角不同。

2.如权利要求1所述的系统，其中所述处理器还被编程为：

基于相机位姿变换矩阵来生成与具有所述第二视角的所述图像对应的所述点云表示。

3.如权利要求2所述的系统，其中所述相机位姿变换矩阵包括旋转矩阵和平移矩阵。

4.如权利要求3所述的系统，其中根据计算与具有所述第二视角的所述图像对应的所述点云表示，其中包括与具有所述第二视角的所述图像对应的所述点云表示的点云坐标，R^-1是所述旋转矩阵的逆矩阵，包括与具有所述第一视角的所述图像对应的所述点云表示的点云坐标，并且[T]包括所述平移矩阵。

5.如权利要求1所述的系统，其中所述深度神经网络包括编码器-解码器架构。

6.如权利要求5所述的系统，其中所述深度神经网络包括条件式生成对抗网络。

7.如权利要求1所述的系统，其中具有所述第一视角的所述图像由车辆相机传感器捕获。

8.如权利要求1所述的系统，其中具有所述第一视角的所述图像包括红-蓝-绿(RGB)图像。

9.如权利要求1所述的系统，其中所述处理器还被编程为：

基于具有所述第二视角的所述合成图像来操作车辆。

10.如权利要求1所述的系统，其中所述深度神经网络包括鉴别器，所述鉴别器生成指示具有所述第二视角的合成图像是机器生成的还是源自真实数据分布的预测。