[发明专利]基于深度学习的无监督端到端的驾驶环境感知方法

说明书

本发明公开了一种基于深度学习的无监督端到端的驾驶环境感知方法，包括：利用双目相机进行图像采集，并通过预处理获得训练数据；利用训练数据中两个连续的大小相同的立体图像对训练光流估计网络、位姿估计网络、深度估计网络以及运动分割；利用三个网络的输出结果进行刚性配准，来优化位姿估计网络的输出；利用深度估计网络的输出，以及优化后的位姿估计网络的输出计算由摄像机运动引起的刚性流，并与光流估计网络的输出进行流一致性检查，从而进行运动分割。上述方法采用无监督的端到端框架不需要真值深度、位姿和光流作为标签监督训练，并且能够获得具有绝对尺度的相机位姿和稠密的深度图估计，从而可以以较高的精度分割出动态物体。

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种基于深度学习的无监督端到端的驾驶环境感知方法。

背景技术

从视频图像中学习三维场景几何结构、场景流以及机器人相对于刚性场景的运动是计算机视觉中的重要研究内容，并且已经在许多不同领域有着广泛应用，包括自动驾驶、机器人导航和视频分析等。然而，当前基于深度学习的环境感知方法都是监督型的学习框架，获取用于训练的真值标签是非常困难的。近年来，在利用卷积神经网络方法进行深度、光流和位姿的无监督学习方面，已经取得了许多进展。这些方法都有各自的优点和局限性。无监督的深度学习方法利用场景的几何结构并将问题分解为多个正交的问题，可以利用更多的时间图像帧或立体图像信息向解决方案中添加更多约束。一方面，当前基于深度学习的光流、深度与位姿估计方法假设整个场景是静态的，因此难以处理运动物体。另一方面，光流法原则上可以处理运动物体，但是在复杂结构区域和遮挡区域中存在困难。

中国专利《利用深度学习对视频序列中单目视图深度估计优化方法》(公开号：CN108765479A)利用深度学习对视频序列中单目视图深度估计优化，但这种基于单目视觉的方法具有尺度不确定性，因此估计的深度尺度未知，不具有实际应用价值。

中国专利《一种基于深度卷积网络的双目深度估计方法》(公开号：CN109598754A)利用双目图像来训练深层卷积神经网络来进行深度估计，但是训练过程中需要真值深度作为标签参与训练，然而在实际环境中获得真值深度是非常困难且昂贵的。

中国专利《一种基于无监督学习的单目视觉定位方法》(公开号：CN109472830A)利用无监督学习的方法进行单目视觉定位，但是单目视觉定位存在尺度不确定性和尺度漂移，定位精度差，且定位的尺度不确定性，在实际环境中没有工程价值。

因此，目前基于深度学习的驾驶环境感知方法中依然存在的问题如下：

1)使用单目图片序列训练的深度估计和位姿估计深度学习模型，受限于单目尺度不确定性及尺度漂移，所估计的深度及位姿尺度未知，不具有实际应用价值；

2)当前基于深度学习的深度估计、位姿估计和光流估计方法需要真值监督训练，但是现实环境中真值数据获取非常困难且需要高昂的代价；

3)实际驾驶环境中动态物体非常常见，当前基于深度学习的环境感知方法并没有考虑动态物体的影响，精度有待进一步提高。

发明内容

本发明的目的是提供一种基于深度学习的无监督端到端的驾驶环境感知方法，采用无监督的端到端框架不需要真值深度、位姿和光流作为标签监督训练，并且能够获得具有绝对尺度的相机位姿和稠密的深度图估计，从而可以以较高的精度分割出动态物体。

本发明的目的是通过以下技术方案实现的：

一种基于深度学习的无监督端到端的驾驶环境感知方法，包括：

利用双目相机进行图像采集，并通过预处理获得训练数据；

利用训练数据中两个连续的大小相同的立体图像对训练光流估计网络、位姿估计网络、深度估计网络以及运动分割；