[发明专利]使用卷积神经网络（CNN）来处理包括由用于测量距离的2D或3D传感器提供的空间信息的扫描的数据流

说明书

本发明涉及一种用于处理包括由用于测量距离的2D或3D传感器(2)提供的空间信息的扫描的数据流的设备(1)，其中，所述设备(1)用于在推理阶段中使用卷积神经网络(Convolutional Neural Network，CNN)(3)。所述CNN包括第一层(L1)和在所述第一层(L1)之下的一个或多个其它层(L2a、L2b)以及用于存储相应上一层(L1、L2)的输出张量的一个或多个第一缓冲区(4a)。所述设备(1)还用于：将由所述2D或3D传感器(2)以当前张量(epc(t_i))的形式提供的当前扫描的数据输入到所述CNN(3)中；根据所述上一层(L1、L2a)的源自所述当前扫描的数据的当前输出张量(a1(t_i)、a2(t_i))和所述上一层(L1、L2a)的先前输出张量(a1(t_i–1)、a2(t_i–1))，在每个其它层(L2a、L2b)中执行一个或多个卷积操作。所述上一层(L1、L2a)的先前输出张量(a1(t_i–1)、a2(t_i–1))是存储在所述一个或多个第一缓冲区(4a)中的相应第一缓冲区(4a)中的最新张量，并且源自紧接于所述当前扫描的数据之前输入到所述CNN的先前扫描的数据。此外，所述设备(1)还用于将所述上一层(L1、L2a)的当前输出张量(a1(t_i)、(a2(t_i))作为最新张量存储在所述相应第一缓冲区(4a)中。

技术领域

本发明涉及一种用于处理包括由用于测量距离的2D或3D传感器提供的空间信息的扫描的数据流的设备，其中，所述设备用于在推理阶段中使用卷积神经网络(Convolutional Neural Network，CNN)。本发明还涉及一种自车，包括上述设备和用于测量距离的一个或多个2D或3D传感器。本发明还涉及卷积神经网络(Convolutional NeuralNetwork，CNN)的一种硬件实现方式，用于处理包括由用于测量距离的2D或3D传感器提供的空间信息的扫描的数据流。此外，本发明涉及一种在推理阶段中使用卷积神经网络(Convolutional Neural Network，CNN)来处理包括由用于测量距离的2D或3D传感器提供的空间信息的扫描的数据流的方法。另外，本发明还涉及：一种包括程序代码的计算机程序，其中，所述程序代码用于执行上述方法；一种存储可执行程序代码的非瞬时存储介质，其中，当所述可执行程序代码由处理器执行时，执行上述方法；一种包括存储器和处理器的计算机，其中，所述存储器和所述处理器用于存储和执行程序代码以执行上述方法。

背景技术

包括由2D或3D距离传感器提供的空间信息的扫描的数据流可以通过神经网络进行处理。空间信息是关于2D或3D传感器的环境或邻近地区的空间信息。2D或3D传感器的环境中的对象可以根据处理数据流的处理结果来检测。例如，2D或3D传感器可以安装在自车(ego-vehicle)上。在这种情况下，由2D或3D传感器提供的空间信息对应于关于自车的环境的空间信息，因此，根据处理数据流的处理结果可以检测到自车的环境中的对象，例如汽车、行人、骑自行车的人、骑摩托车的人等。

术语“自车(ego vehicle)”是指配备有一个或多个传感器(例如一个或多个2D或3D距离传感器)来感测车辆的环境并根据来自这些传感器的数据而不一定根据关于其环境的任何其它数据而行驶的车辆。换句话说，自车根据自己对自身环境的“观察”而行驶。

发明内容

本发明实施例还基于发明人做出的以下考虑：

卷积神经网络(Convolutional Neural Network，CNN)可以用于处理包括由用于测量距离的2D或3D传感器提供的空间信息的扫描的数据流。

图1示出了卷积神经网络(Convolutional Neural Network，CNN)3在当前时间点ti上进行的操作的一个示例。