[发明专利]危险检测整合架构系统和方法

说明书

危险检测整合架构系统和方法。公开了一种系统和方法，其可以采用整合方法的集合，所述整合方法的集合包括用于危险检测的多个机器学习算法或统计算法。该系统和方法可以使用多个深度学习算法将图像、立体和环境信息组合，以准确地检测危险。该系统和方法可以将深度通道并入图像的红色、绿色和蓝色（RGB）通道，以创建四通道RGBD图像。该系统和方法还可以用深度通道的颜色图覆盖RGB图像。该系统和方法可以进一步将感兴趣区域（ROI）联接到图像的RGB通道。最后，该系统和方法可以并入用于可驾驶空间上的多任务学习事件的辅助语义分割解码器。

技术领域

本公开涉及一种用于检测立体图像内的危险的整合（ensemble）架构。

背景技术

在美国，道路碎片导致每年许多报道的撞车事故。针对道路碎片或危险（hazard）的稳健的高级检测和告警系统和方法——无论是在自主驾驶系统中还是在常规的（即，人类控制的）驾驶系统中实现——可能是合期望的。

发明内容

公开了一种用于检测具有红色通道、蓝色通道和绿色通道的立体图像内的危险的系统和方法。红色通道、蓝色通道和绿色通道产生3通道RGB图像。该系统和方法可以包括具有一个或多个卷积层、批标准层、YOLO层和上采样层的整合网络。设想，整合网络可以使用YOLOv3 Tiny或Mask R-CNN架构来设计。

整合网络可以可操作来通过将深度通道与红色通道、蓝色通道和绿色通道联接来确定立体图像内的一个或多个危险，其中该联接产生4通道RGBD图像。整合网络还可以可操作来增加红色通道、蓝色通道和绿色通道中的每一个内的比特数，以产生修改的3通道RGB图像。然后，修改的3通道RGB图像可以与深度通道的颜色图重叠。

整合网络还可以通过从标签图提取感兴趣区域并将该感兴趣区域与红色通道、蓝色通道和绿色通道联接来确定立体图像内的一个或多个危险，其中该联接产生4通道图像。整合网络还可以通过将来自语义分割算法的输出分类与红色通道、蓝色通道和绿色通道联接来确定立体图像内的一个或多个危险，其中该联接产生4通道图像。

整合网络可以进一步包括第一RGB编码器网络和第二深度编码器网络，第一RGB编码器网络具有多个融合层，并且来自多个编码器网络层的输出值被添加到所述多个融合层。最后，可以包括辅助语义分割解码器，以迫使整合网络学习可驾驶空间的一个或多个特征，从而确定立体图像内的一个或多个危险。

附图说明

图1图示了示例性计算系统。

图2图示了示例性的卷积神经网络。

图3A和图3B图示了用于检测危险的示例性整合机器学习架构。

图4图示了控制至少部分自主机器人的计算系统。

具体实施方式

本文描述了本公开的实施例。然而，将理解，公开的实施例仅仅是示例，并且其他实施例可以采取各种形式和替代形式。各图不一定是按比例的；一些特征可以被放大或最小化以示出特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为教导本领域技术人员以不同方式采用实施例的代表性基础。如本领域普通技术人员将理解的那样，参考任何一个附图图示和描述的各种特征可以与一个或多个其他附图中图示的特征相组合，以产生未被明确图示或描述的实施例。图示特征的组合为典型应用提供了代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改对于特定的应用或实现可以是期望的。

在美国，道路碎片导致每年许多警方报道的撞车事故。因此，对于自主驾驶系统或常规驾驶系统二者合期望的是能够进行高级检测告警，并对道路危险/碎片进行响应。虽然设想现有系统可以操作来检测对象（例如，行人检测或交通灯/标志检测），但危险检测系统不那么容易使用，尽管车辆控制器通常不被设计成检测它们。