[发明专利]在车辆中使用偏振相机生成三维点云的设备和方法

说明书

本申请涉及在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云。具体地，本发明涉及在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云的方法和设备，包括：相机，其配置为捕获用于视场的彩色图像和视场的偏振数据；处理器，其配置为响应于所述彩色图像和偏振数据执行神经网络功能以生成所述视场的深度图；以及车辆控制器，其配置为执行高级驾驶辅助功能并响应于所述深度图来控制车辆运动。

技术领域

本公开总体涉及对机动车辆控制系统进行编程。更具体地，本公开的各方面涉及用于使用深度神经网络将常规RGB图像与来自偏振相机的偏振数据相结合以生成三维点云以供配备有驾驶辅助系统的车辆使用的系统、方法和装置。

背景技术

现代车辆的操作变得越来越自动化，即能够以越来越少的驾驶员干预提供驾驶控制。车辆自动化已被分类为数字水平，范围为从零(对应于完全人为控制的无自动化)到五(对应于无人为控制的全自动化)。各种高级驾驶员辅助系统(ADAS)比如巡航控制、自适应巡航控制和停车辅助系统对应于较低的自动化水平，而真正的“无人驾驶”车辆则对应较高的自动化水平。

ADAS通常使用诸如激光雷达、雷达和相机之类的传感器来检测并绘制主车辆周围的区域。激光雷达具有有限的空间分辨率，并且需要使用激光对视场的主动照明以允许飞行时间(ToF)测量。此外，由于高成本、庞大的机械结构、机械扫描机构和其他运动部件，最先进的激光雷达面临着产品化挑战。希望克服这些问题，以提供用于ADAS系统以检测和呈现三维点云以供配备有ADAS的机动车辆使用的方法和设备。

在该背景技术部分中公开的以上信息仅用于增强对本发明背景技术的理解，因此其可能包含不构成该国本领域普通技术人员已知的现有技术的信息。

发明内容

本文公开了用于提供自主车辆控制的自主车辆控制系统训练系统和相关控制逻辑、制造这种系统的方法和操作这种系统的方法以及配备有车载控制系统的机动车辆。通过示例而非限制的方式，提出了一种具有车载车辆控制学习和控制系统的汽车。

根据本发明的一方面，提供了一种设备，包括：相机，其配置为捕获用于视场的彩色图像和视场的偏振数据；处理器，其配置为响应于所述彩色图像和偏振数据执行神经网络功能以生成所述视场的深度图；以及车辆控制器，其配置为执行高级驾驶辅助功能并响应于所述深度图来控制车辆运动。

根据本发明的另一方面，其中所述彩色图像包括所述视场的单色绿色图像、所述视场的单色红色图像和所述视场的单色蓝色图像。

根据本发明的另一方面，其中所述偏振数据是响应于四个4×4基本计算单元而生成的，以形成16像素计算单元。

根据本发明的另一方面，其中相机包括在公共滤色器阵列的顶部上实现的偏振器阵列层。

根据本发明的另一方面，其中偏振数据是响应于偏振器阵列层而产生的。

根据本发明的另一方面，其中彩色图像包括RGB光颜色信息。

根据本发明的另一方面，其中偏振数据包括用于视场的图像的线性偏振角和线性偏振度。

根据本发明的另一方面，包括存储器，其配置为从处理器接收深度图并存储深度图。

根据本发明的另一方面，一种由处理器执行的方法包括：从相机接收视场的彩色图像；从偏振相机接收所述视场的偏振数据；响应于所述彩色图像和偏振数据，执行神经网络功能以生成所述视场的深度图；以及响应于所述深度图，执行车辆控制操作以控制车辆。

根据本发明的另一方面，包括生成用于视场的图像的线性偏振角和线性偏振度。

根据本发明的另一方面，包括从激光雷达接收视场的激光雷达深度云，并将深度图与激光雷达深度云进行比较以确认深度图。

根据本发明的另一方面，包括响应于车辆控制操作来控制主车辆的转向。