[发明专利]通过多个神经网络的协作对多个对象的跟踪

说明书

本发明涉及跟踪和/或表征图像序列中的多个对象的方法，具有步骤：向每个待跟踪对象分配神经网络；提供所有神经网络共享的存储器，其构造为通过可微运算将地址向量映射为一个或多个存储器位置，且从存储器位置读取数据或将数据写入存储器位置；向每个神经网络输送序列中的图像和/或其片段；在神经网络之一处理每个图像和/或图像片段时，从神经网络的至少一个处理产物产生地址向量；基于地址向量将神经网络的至少一个另外的处理产物写入共享的存储器和/或从共享的存储器读取数据并由神经网络进一步处理；及作为输出，每个神经网络提供各自分配的对象在输送给其的图像或图像片段中的位置和/或关于各自分配的对象的行为或其他寻找的属性的信息。

技术领域

本发明涉及对图像序列中的对象的跟踪，所述对象可以表示例如交通状况。

背景技术

为了使车辆能够在道路交通中至少部分自动化地移动，需要检测车辆的环境并在即将与车辆环境中的对象碰撞时启动应对措施。环境表示的创建和本地化也是安全自动驾驶所需要的。

典型地，使用至少一个传感器观察车辆的环境，并且从记录的测量数据中使用经过训练的机器学习模型对从中可看到的对象进行分类。对于移动的对象，了解对象所遵循的轨迹同样重要。DE 10 2017 223 206 A1公开了一种借助于人工神经网络确定对象的线形轨迹的设备。

在区域视频监视的范围中，跟踪对象也重要。

发明内容

在本发明的范围中开发了一种用于跟踪和/或表征图像序列中多个对象的方法。

图像的概念不限于相机静止图像，而是还包括例如视频图像、雷达图像、激光雷达图像或热图像。

该方法首先向每个待跟踪的对象分配神经网络。例如，在所述图像序列开始时，可以使用任何方法识别该图像中包含的各种对象，例如通过分类和/或（例如语义）分割来进行识别。然后可以将“代理”形式的神经网络分别应用于这些对象中的每一个。因此，每个神经网络只关心跟踪分配给它的对象、识别该对象和/或获取关于该对象的行为或其他所寻找的属性的进一步信息。

提供了所有神经网络共享的存储器。所述存储器被构造为通过可微分运算将地址分量的地址向量映射为一个或多个存储器位置，并且从这些存储器位置中读取数据或将数据写入这些存储器位置。该共享的存储器可以特别是例如与每个单独的神经网络组合而形成所谓的“可微神经计算机”（Differentiable neural computer）DNC。然后，这些神经网络成为由许多共享所述存储器的这种DNC构成的复合体。

向每个神经网络输送来自所述序列的图像和/或这些图像的片段。在此，特别是例如可以将图像片段选择为，使得它们分别包含先前已识别的对象。在由神经网络之一处理每个图像和/或图像片段期间，从该神经网络的至少一个处理产物中产生地址向量。基于该地址向量将该神经网络的至少一个另外的处理产物写入共享的存储器，和/或从所述共享的存储器中读取数据并由该神经网络进一步处理。

作为输出，每个神经网络提供各自分配的对象在输送给该神经网络的图像或图像片段中的位置，和/或关于各自分配的对象的行为或其他所寻找的属性的信息。

例如，可以假定在所述图像序列开始时的对象仅被识别为未更详细表示的单独对象，在图像序列的过程中逐步提高准确度地标识该对象。从而例如可以首先将行人识别为行人，然后识别为儿童，最后识别为男孩或女孩。

分析对象行为不必局限于该对象的轨迹，而是还可以包括例如行人的手势、面部表情和其它行为方式。这种行为方式例如还可以用于预测所述行人是会留在人行道上还是试图横穿行驶道路。