[发明专利]利用卷积神经网络提取关于场景的动态信息的装置和方法

说明书

利用卷积神经网络提取关于场景的动态信息的装置和方法。一种提取动态信息的装置包括卷积神经网络，其中，该装置被配置成接收随时间获取的数据块序列，每个数据块包括场景的多维表示。所述卷积神经网络被配置成接收所述序列作为输入，并且作为响应输出关于场景的动态信息，其中，所述卷积神经网络包括多个模块，并且其中，每个模块被配置成执行特定处理任务以提取所述动态信息。

技术领域

本发明涉及借助于卷积神经网络进行数据处理的领域。

背景技术

卷积神经网络(CNN)被用于许多应用，尤其是用于需要处理大量数据以从数据中提取期望信息的应用。例如，数据可以表示捕捉存在于(真实)场景中的一个或更多个对象的图像或视频数据。CNN已被证明有用于自动提取更接近地表征由数据捕捉的场景的信息，例如关于场景中对象的位置和运动的信息。换句话说，CNN可以被配置成执行数据的语义分析(即，通过模式识别)。作为一种可能的应用，可以在此分析的基础上控制机器。场景例如可以是车辆周围的交通场景，所述车辆应当基于对交通场景的自动语义分析来控制。这被称为自主行驶应用。

CNN是用于处理数据的计算机实现方法的结构表示。CNN包括利用卷积核处理数据，卷积核是包括以预定模式排列的多个值(即，过滤器权重)的过滤器掩模(filtermask)。用输入数据来与卷积核进行卷积以便处理数据。可以将常数与卷积结果相加，然后利用所谓的激活函数进行过滤，如神经网络领域的技术人员所知的。这些处理步骤可以形成CNN的结构性单元，通常称为卷积层。卷积核的使用有助于避免修改输入数据中的空间模式。因此，具有空间模式的任何输入数据(例如，图像和视频)都可以由CNN处理。而且，当需要处理大量数据时，卷积核提供了卓越的处理效率。

普通CNN的一个问题是它们本身未被配置成处理时间相关数据，即，随时间顺序地捕获的数据序列。这就是说，普通CNN假设数据项(例如，输入数据“块”)具有一个共同的时间戳，视频帧可能就是这样的情况。因此，通常顺序地处理输入的数据项序列，即，通过一个接一个地处理数据项。这种方法的缺点是CNN没有明确地识别数据中的时间相关性。

大多数类型的实际数据中都存在时间相关性，例如，在交通环境的数据(其表示真实场景)中。这是因为对象(特别是诸如车辆、行人等的移动对象)由于其速度限制而仅能够平稳地移动。这种时间相关性对于鲁棒地提取想得到的信息的而言非常重要(诸如对象的检测或分类(图像分类))。一个原因是(真实)数据通常是在非最佳条件下捕获的。而且，由于其它对象的遮挡，对象可能突然出现和消失。这种现象也被称为对象出生(objectbirth)和对象死亡(object death)。因此，从复杂场景的数据提取信息通常需要使用时间信息，以便对数据执行鲁棒的语义分析。

已经努力使CNN能够识别顺序数据中的时间相关性，例如采用递归神经网络(RNN)和长短期记忆(LSTM)的形式。然而，事实证明，这些类型的神经网络并不总是有足够能力应付复杂数据，如表示具有许多不同移动对象的场景的数据。应当明白，该数据可以借助于摄像头捕获。然而，在其它应用中，特别是现代车辆应用，数据也可以通过其它传感器捕获，包括一个或更多个雷达传感器或光检测和测距(激光雷达(lidar))系统。与这些应用相关，数据通常表示车辆周围的交通场景，其中，可以将不同类型的传感器数据进行组合。交通场景需要根据数据恒定且可靠地进行分析，以使得能够实现安全的自主行驶应用。然而，已经证明利用已知类型的CNN难以鲁棒地提取所需信息。

为了解决上述问题，可以采用多种不同的CNN，其中每个CNN都提供期望信息的一部分。这些CNN必须单独进行训练，尽管它们都提供了彼此主要相关的信息。例如，基于原始传感器数据，可以使用多个CNN来分别提取关于被用于获取原始传感器数据的传感器视场中的场景的对象检测和空闲空间的信息。基于所提取的信息，可以生成进一步的信息。