[发明专利]使用多个传感器和复杂度降低的神经网络进行对象检测

说明书

一种与使用多个传感器装置进行对象检测有关的系统和方法，包括接收包含多个点的范围数据，多个点中的每一个都与强度值和深度值相关联，基于所述多个点的强度值和深度值来确定围绕所述多个点中的点的集群的边界框，接收包括像素阵列的视频图像，确定视频图像中与边界框相对应的区域，以及将第一神经网络应用于区域以确定由所述范围数据和所述视频图像捕获的对象。

相关申请的交叉引用

本申请要求2018年7月5日提交的美国临时申请62/694,096的优先权，其全部内容通过引用包含于此。

技术领域

本发明涉及从传感器数据检测对象，尤其涉及使用多个传感器和复杂度降低的神经网络进行对象检测的系统和方法。

背景技术

包括被编程为检测环境中的对象的硬件处理器的系统具有广泛的工业应用。例如，自动驾驶车辆可以配备有传感器(例如，光检测和测距(激光雷达)传感器和摄像机)以捕获车辆周围的传感器数据。此外，自动驾驶车辆可以配备有处理装置，以执行可执行代码以基于传感器数据来检测车辆周围的对象。

可以采用神经网络来检测环境中的对象。在本公开中提到的神经网络是人工神经网络，其可以在电路上实现以基于输入数据做出决策。神经网络可以包括一层或多层节点，其中每个节点可以以硬件实现为用于执行计算的计算电路元件。输入层中的节点可以将输入数据接收到神经网络。一层中的节点可以接收由前一层中的节点生成的输出数据。此外，该层中的节点可以执行某些计算并生成用于后续层的节点的输出数据。输出层的节点可以为神经网络生成输出数据。因此，神经网络可以包含多层节点，以执行从输入层向前传播到输出层的计算。神经网络被广泛用于对象检测。

附图说明

通过以下给出的详细描述和本公开的各种实施例的附图，将更充分地理解本公开。然而，不应将附图用于将本公开限制于特定实施例，而仅用于解释和理解。

图1示出了根据本公开的实施方式的使用多个传感器数据和神经网络检测对象的系统。

图2示出了根据本公开的实施方式的使用神经网络将激光雷达传感器和图像传感器相结合以检测对象的系统。

图3示出了示例性卷积神经网络。

图4描绘了根据本公开的实施方式的使用融合网来检测图像中的对象的方法的流程图。

图5描绘了根据本公开的实施方式的使用多个传感器装置来检测对象的方法的流程图。

图6描绘了根据本公开的一个或多个方面进行操作的计算机系统的框图。

具体实施方式

神经网络可以包括多层节点，包括输入层、输出层以及在输入层和输出层之间的隐藏层。每一层可以包括与节点值相关联的节点，这些节点值是通过连接当前层和前一层之间的节点的边从前一层计算得出的。计算从输入层通过隐藏层传播到输出层。边可以将一层中的节点连接到相邻层中的节点。相邻层可以是前一层或后一层。每个边可以与权重值相关联。因此，与当前层的节点相关联的节点值可以是前一层的节点值的加权总和。

神经网络的一种类型是卷积神经网络(CNN)，其中在隐藏层执行的计算可以是与前一层相关联的节点值和与边相关联的权重值的卷积。例如，处理装置可以将卷积操作应用于输入层并生成通过边连接到输入层的第一隐藏层的节点值，并将卷积操作应用于第一隐藏层以生成第二隐藏层的节点值，依此类推，直到计算到达输出层为止。处理装置可以将软组合操作应用于输出数据并生成检测结果。检测结果可以包括所检测的对象的身份及其位置。