[发明专利]基于深度学习的无监督端到端的驾驶环境感知方法

权利要求书

1.一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，包括：

利用双目相机进行图像采集，并通过预处理获得训练数据；

利用训练数据中两个连续的大小相同的立体图像对训练光流估计网络、位姿估计网络、深度估计网络以及运动分割；

训练完毕后，对于新输入的两个连续的大小相同的立体图像对利用三个网络的输出结果进行刚性配准，来优化位姿估计网络的输出；利用深度估计网络的输出，以及优化后的位姿估计网络的输出计算由摄像机运动引起的刚性流，并与光流估计网络的输出进行流一致性检查，从而进行运动分割；

其中，利用双目相机进行图像采集，并通过预处理获得训练数据包括：首先，对双目相机采集到的原始图像进行缩放，并且相应的相机内参也同时进行缩放；然后，通过数据增强方法，产生训练数据；所述数据增强方法，包括使用如下一种或多种方式进行数据增强：使用亮度因子γ对输入的单目图像进行随机校正；按比例因子s_x和s_y沿X轴和Y轴对图像进行缩放，然后将图像随机裁剪为指定尺寸；将图像随机旋转r度，并使用最近邻方法插值；随机左右翻转以及随机时间顺序切换；

所述利用训练数据中两个连续的大小相同的立体图像训练光流估计网络、位姿估计网络、深度估计网络以及运动分割包括：首先，利用训练数据中连续的大小相同的立体图像对训练光流估计网络，再同时训练位姿估计网络和深度估计网络；然后，利用训练数据中连续的大小相同的立体图像对同时训练光流估计网络、位姿估计网络、深度估计网络以及运动分割；

两个连续的大小相同的立体图像对记为L₁、R₁、L₂与R₂；其中，L₁、R₁对应的表示在t₁时刻的左、右图像，L₂、R₂对应的表示L₂时刻的左、右图像；

利用两个连续左图像L₁与L₂以及设计的光流损失函数训练光流估计网络，光流估计网络的输出为两个连续的大小相同的左图像L₁与L₂之间的光流

同时训练位姿估计网络和深度估计网络：

利用两个连续左图像L₁与L₂以及设计的刚性流损失函数训练位姿估计网络，位姿估计网络输出为两个连续左图像L₁与L₂以之间的相对相机位姿T₁₂；利用两个连续的大小相同的立体图像对L₁、R₁、L₂与R₂以及立体损失训练深度估计网络，深度估计网络的输出为立体图像对之间的视差d，利用立体相机基线B和水平焦距f_x，通过视差d计算绝对尺度深度D＝Bf_x/d，将计算出的绝对尺度深度记为D_1，2。

2.根据权利要求1所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，

所述光流损失函数包括：遮挡感知重建损失项和平滑损失项

其中，ψ(.)表示遮挡感知重建损失函数，α表示调节系数，O₁表示非遮挡区域，M₁表示损失掩模，N为归一化系数；表示根据L₁、L₂之间的光流并结合L₂重建的左图像，记为e表示自然对数，(i,j)表示像素位置，指沿图像x或者y方向的求导操作，其平方表示求二阶导，a指图像的x或y方向，用于指示求导的方向，β为权重。