[发明专利]由单张图像联合估计场景深度与语义的方法

权利要求书

1.一种由单张图像联合估计场景深度与语义的方法，其特征是，步骤如下：

1)利用任何带有单目摄像头的设备进行拍照，获取得到的彩色图像作为网络的输入；

2)迭代网络：将一张彩色图像输入多任务的深度卷积网络构成的对于深度估计和语义分割迭代联合优化的框架，估计出其深度和语义信息，深度信息用来重建三维场景，语义信息能够实现场景的理解；其中，迭代网络是一个多任务的深度卷积网络，包含两个部分：深度估计子网络和语义分割子网络，具体地：

1)深度估计子网络：包括彩色图支路和语义支路，彩色图支路是由一条主干的编解码网络和一条使结果精细化的网络组成，精细化的网络由几个连续条件随机场模块组成，用来提取主干网络中不同尺度的信息，也就是解码出来的不同尺度的信息；语义分割子网络的输出处理结果到语义支路，语义支路是由编解码网络组成，最后，两路信息通过组合用条件随机场模块组合起来，得到最后的深度估计结果；

2)语义估计子网络：包括彩色图支路和深度支路，先对来自深度估计子网络输出的深度图进行质心编码，然后输入到深度支路，彩色图的支路由空洞卷积和多孔空间金字塔池化组成，深度支路由全卷积构成，最终通过长短期记忆网络进行融合；

3)联合优化：对于每一个子网络单独训练，每一个子网络的每一条支路先分别训练，然后组合起来，微调，取深度子网络中彩色图的支路在融合前的特征作为初始化的深度，同理，也取出语义作为初始化，然后将获得的深度和彩色图送到网络中进行迭代。

2.如权利要求1所述的由单张图像联合估计场景深度与语义的方法，其特征是，联合优化具体步骤如下：对于深度估计网络的训练，首先，先单独训练彩色图输入的那一条支路，等到在验证集上的结果不再下降之后，再加入语义分割图输入的那一条支路，联合训练，由于输入彩色图的那一条支路已经训练过了，所以在彩色图输入支路上进行微调即可，主要训练输入语义的那一条支路，到在验证集上的结果基本不再下降之后，训练停止；对于训练语义分割的网络，首先对输入彩色图像的支路进行训练，饱和之后，加入输入深度图的那一条支路，联合训练；要使迭代网络运行起来，需要一个初始化的深度或者语义，具体取深度子网络中彩色图的支路在融合前的特征作为初始化的深度，同理，也取出语义作为初始化；迭代的具体过程是，获得了一个初始化的语义，要想进行迭代就通过输入彩色图和这个获得的语义到深度估计子网络中，学习得到深度图，再将这个深度图和彩色图输入到语义估计子网络中，学习语义分割图，如此进行迭代。