[发明专利]对象跟踪

说明书

描述了一种装置、方法和计算机程序，该装置、方法和计算机程序包括：使用神经网络(22)检测第一对象，第一对象在图像序列的第一图像中，其中用于检测第一对象的部件提供指示第一对象的第一位置的对象区域；以及跟踪第一对象(24)，其中用于跟踪第一对象的部件还包括生成第一对象的预测未来位置并且使用神经网络生成第一对象的更新位置。用于生成第一对象的预测未来位置的部件可以例如接收指示第一对象的第一位置的所述对象区域，并且可以接收第一对象的所述更新位置信息。

技术领域

本说明书涉及对象检测和跟踪。

背景技术

在很多情况下，可能希望能够检测和跟踪对象。这样的情况包括：寻找失踪人员或宠物的搜索和救援场景；以及监测和安全应用，例如可以检测并且跟踪在产业(property)处的不受欢迎的人员。

发明内容

在第一方面，本说明书描述了一种装置，该装置包括：用于使用神经网络检测第一对象(诸如车辆、人、动物或其他对象)的部件，所述第一对象在图像序列的第一图像中，其中用于检测第一对象的部件提供指示第一对象的第一位置的对象区域(诸如边界框)；以及用于跟踪第一对象的部件，其中用于跟踪第一对象的部件还包括：用于生成第一对象的预测未来位置的部件；以及用于使用神经网络生成第一对象的更新位置的部件。第一对象可以正在移动。备选地或附加地，该装置可以正在移动。用于生成第一对象的预测未来位置的部件可以是卡尔曼滤波器(或扩展卡尔曼滤波器)。

在一些实施例中，可以针对第一对象的更新位置的每次生成而生成第一对象的一个或多个预测未来位置。

用于生成第一对象的预测未来位置的部件(例如，卡尔曼滤波器)可以接收指示第一对象的第一位置的上述对象区域，并且可以接收第一对象的所述更新位置信息。因此，用于生成预测未来位置的部件(例如，卡尔曼滤波器)可以接收指示第一位置的对象区域，并且还可以例如从神经网络接收更新位置信息(例如，当可用时)。

一些实施例还可以包括用于至少部分地基于第一对象的预测未来位置和/或更新位置、来裁剪第一图像，以提供第一裁剪图像的部件，其中第一裁剪图像包括所述第一对象。第一对象的所述更新位置可以从所述裁剪图像生成。

一些实施例可以包括用于生成控制信号的部件，该控制信号用于改变用于获取图像序列的部件的视场。视场例如可以根据第一对象的预测位置来改变。上述控制信号可以包括缩放控制信号和/或万向节控制信号。例如，缩放控制和/或万向节控制可以被控制使得视场指向第一对象的位置(预测的或确定的)。

在一些实施例中，当第一对象远离第一图像的中心的偏差或远离第一裁剪图像的中心的偏差(例如，偏差的预测)高于阈值时，控制信号可以被生成。

对第一对象的未来位置的预测可以用于跟踪第一对象。例如，该预测可以用于确定第一对象有很高机率在由用于预测第一对象的未来位置的部件预测的区域内。该预测可以用于例如通过神经网络来选择要搜索的区域(例如，以使要搜索的区域最小化)。

用于生成第一对象的预测未来位置的部件可以针对每个更新位置生成多个预测实例(例如，预测实例序列)，每个更新位置由用于使用神经网络生成第一对象的更新位置的部件来生成。

一些实施例还可以包括用于训练神经网络的部件。用于训练神经网络的部件可以采取多种形式。例如，用于训练神经网络的部件可以被配置收集处于以下项中的至少一项的数据：不同高度、不同缩放水平、不同旋转和/或不同剪切。很多备选布置是可能的，并且对于本领域技术人员将是很清楚的。

一些实施例可以包括用于获取图像序列的部件，其中图像序列包括第一图像。

上述装置可以例如是无人机或无人驾驶飞行器(例如，运动的无人机或无人驾驶飞行器)。

上述部件可以包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起该装置的执行。