[发明专利]使用车辆摄像机系统的道路特征检测

说明书

相关申请的交叉引用

本申请要求2016年4月19日提交的、名称为“用于多道路特征检测的环绕取景摄像机系统”的美国临时专利申请第62/324,606的优先权，其全部公开内容通过引用并入本文中。

技术领域

本公开内容一般涉及车辆摄像机系统，并且更具体地涉及用于道路特征检测、分类和追踪的环绕取景摄像机系统。

背景技术

车辆（诸如，轿车、摩托车、船或其他类型的汽车）可以配备有一个或多个摄像机以便向驾驶者、车辆的其他乘坐者或者车辆的内置感知系统提供车辆的外部视野。例如，车辆能够包括前面、侧面和/或后面的摄像机。在所有侧面具有摄像机的车辆能够实现提供车辆及其周围环境的“鸟瞰”视图或“俯”视图的环绕取景摄像机系统。来自摄像机的图像能够在车辆内的显示装置上（诸如，在仪表板、中控面板、抬头显示装置等上）呈现给驾驶者或车辆的其他乘坐者。额外地，来自摄像机的图像能够由车辆的感知计算系统使用以便检测车辆外部的物体和道路特征。

发明内容

在一个示例性实施例中，用于道路特征检测的计算机实施方法包括由处理装置从与道路上的车辆相关联的摄像机系统中接收图像。该计算机实施方法进一步包括由处理装置至少部分地基于图像而生成道路的俯视图。该计算机实施方法进一步包括由处理装置至少部分地基于道路的俯视图而检测该道路的车道的车道边界。该计算机实施方法进一步包括由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。

在一些示例中，机器学习使用卷积神经网络。在一些示例中，机器学习使用人工神经网络。在一些示例中，检测车道边界内的道路特征进一步包括使用神经网络执行特征提取以便从俯视图中提取道路特征，并且使用神经网络执行道路特征的分类。在一些示例中，车道边界由车道标记、路肩或路缘限定。在一些示例中，检测车道边界进一步包括检测俯视图上的图元特征，执行俯视图上的图元特征的聚类，执行俯视图上的图元特征的曲线拟合，以及执行俯视图上的图元特征的曲线整合。在一些示例中，摄像机包括鱼眼镜头。在一些示例中，道路特征是限速指示器，自行车道指示器，铁路指示器，学校区指示器和方向指示器之一。示例方法可以额外地包括将被检测的道路特征添加至道路特征的数据库，其中，道路特征的数据库能够由其他车辆访问。

在另一个示例性实施例中，用于对道路的平整度（roughness）进行分类的系统包括与车辆相关联的多个摄像机。该系统还包括存储器和处理装置，该存储器包括计算机可读指令，该处理装置用于执行该计算机可读指令以用于执行方法。在示例中，该方法包括由处理装置从多个摄像机的每一个中接收图像。该方法进一步包括，对于多个摄像机的每一个，由处理装置至少部分地基于图像而生成道路的俯视图；由处理装置至少部分地基于道路的俯视图而检测道路的车道的车道边界；以及由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。该方法进一步包括由处理装置使来自多个摄像机的每一个中的道路特征融合。

示例方法可以额外地包括为多个摄像机的每一个执行时间同步。示例方法可以额外地包括将时间同步应用于使来自多个摄像机中的每一个的道路特征融合。示例方法可以额外地包括从与车辆相关联的传感器中接收传感器数据。在一些示例中，来自多个摄像机的每一个中的道路特征的融合进一步包括利用传感器数据而使来自多个摄像机的每一个中的道路特征融合。在一些示例中，传感器数据由与车辆相关联的光检测和测距（LIDAR）传感器产生。在一些示例中，传感器数据由与车辆相关联的远距离摄像机产生。在一些示例中，传感器数据是全球定位系统数据。

在有一个示例性实施例中，用于道路特征检测的计算机程序产品包括计算机可读存储介质，该计算机可读存储介质包括与其一起体现的程序指令，其中，该计算机可读存储介质本身不是暂时性信号，程序指令能够由处理装置执行以便使得处理装置执行方法。在示例中，该方法包括由处理装置从与道路上的车辆相关联的摄像机中接收图像。该方法进一步包括由处理装置至少部分地基于图像而生成道路的俯视图。该方法进一步包括由处理装置至少部分地基于道路的俯视图而检测该道路的车道的车道边界。该方法进一步包括由处理装置使用机器学习来检测道路的车道的车道边界内的道路特征。