[发明专利]使用相邻车辆的姿态观察进行路面表征

说明书

本公开提供“使用相邻车辆的姿态观察进行路面表征”。一种计算系统可以基于图像中的第一车辆的宽度、高度和位置而裁剪所述图像。所述计算系统可以基于将所述裁剪的图像以及所述第一车辆的所述宽度、所述高度和所述位置输入深度神经网络中而估计所述第一车辆的姿态。然后，所述计算系统可以基于所述估计的姿态而操作第二车辆。所述计算系统可以根据所述估计的姿态训练模型以识别危险的类型和位置，所述危险是冰、泥、坑洼或其他危险之类的东西。所述模型可以由自主车辆用于识别和躲避危险或提供驾驶辅助警报。

技术领域

本发明涉及用于自主驾驶或提供驾驶员辅助的障碍物识别。

背景技术

车辆可被配备为在自主模式和乘员导引模式两者下操作。车辆可以被配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并基于该信息来操作车辆。车辆的安全且舒适操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要行进的路线和要避开的对象的数据。车辆的安全且有效的操作可以取决于当车辆在道路上操作时获取关于在车辆环境中的路线和对象的准确且及时的信息。存在用于识别造成碰撞风险的对象的现有机制和/或在规划车辆沿路线的路径时应考虑到这些机制。然而，还有改善对象识别和评估技术的空间。

发明内容

本文公开的是一种方法，该方法包括：基于图像中的第一车辆的宽度、高度和中心而裁剪图像以确定图像块；基于将图像块以及第一车辆的宽度、高度和中心输入深度神经网络中而估计第一车辆的3D姿态；以及基于估计的3D姿态而操作第二车辆。估计的3D姿态可以包括第一车辆相对于3D坐标系的估计的3D位置、估计的侧倾、估计的俯仰和估计的横摆。可以基于依据分割所述图像来确定图像中的对象来确定第一车辆图像块的宽度、高度和中心。可以基于确定分割的图像中的矩形边界框而确定第一车辆的宽度、高度和中心。可以基于裁剪来自矩形边界框的图像数据并调整图像数据的大小以适合以经验确定的高度和宽度而确定图像块。深度神经网络可以包括：多个卷积神经网络层，所述多个卷积神经网络层用于处理裁剪的图像；第一多个完全连接的神经网络层，所述第一多个完全连接的神经网络层用于处理第一车辆的高度、宽度和位置；以及第二多个完全连接的神经网络层，所述第二多个完全连接的神经网络层用于组合来自卷积神经网络层和第一完全连接的神经网络层的输出，以确定估计的姿态。

可以基于将第一车辆图像块的宽度、高度和中心输入深度神经网络中以确定估计的侧倾、估计的俯仰和估计的横摆而确定第一车辆的估计的3D姿态。可以确定第一车辆的估计的3D姿态，其中深度神经网络包括第三多个完全连接的神经网络层，所述第三多个完全连接的神经网络层用于处理第一车辆图像块的高度、宽度和中心，以确定3D位置。可以基于模拟图像数据而训练深度神经网络以基于图像块、第一车辆的宽度、高度和中心、以及关于第一车辆的3D姿态的地面实况而估计3D姿态。关于第一车辆的3D姿态的地面实况可以包括相对于3D坐标系的3D位置、侧倾、俯仰和横摆。可以基于记录的图像数据和获取的地面实况而训练深度神经网络以基于图像块、第一车辆的宽度、高度和中心、以及关于第一车辆的3D姿态的地面实况而估计3D姿态。记录的图像数据可以从包括在第二车辆中的视频传感器记录。可以基于摄影测量而确定对应于记录的图像数据的地面实况。摄影测量可以是基于依据车辆品牌和型号而确定车辆的尺寸。在其他实施例中，激光雷达、雷达或其他传感器数据可被捕获并用于确定车辆的实际姿态以用作地面实况。在其他实施例中，来自观察所述车辆的相邻车辆的传感器数据(摄影、激光雷达、雷达等)可以用于表示车辆的地面实况。