[发明专利]用于对象跟踪的方法和设备

说明书

提供了用于对象跟踪的方法和设备。一种处理器实现的具有对象跟踪的方法包括：基于输入边界框和输入图像来确定初始模板图像；通过从初始模板图像提取特征来生成初始特征图；通过对初始特征图执行适合于对象性的特征变换来生成变换后特征图；通过对变换后特征图执行基于对象性的边界框回归分析，来生成对象性概率图和指示与对象性概率图的每个坐标对应的边界框信息的边界框图；以及基于对象性概率图和边界框图确定改进的边界框。

本申请要求于2021年5月26日在韩国知识产权局提交的第10-2021-0067481号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及用于对象跟踪的方法和设备。

背景技术

对象跟踪是可在连续图像中检测对象的技术。当在连续图像中跟踪对象时基于来自用户的输入设置目标的边界框时，可能不能准确地设置边界框。当在智能电话或相机的屏幕上设置边界框时，目标可能移动或变形，或者智能电话或相机可能抖动。此外，当基于触摸输入设置边界框时，由于用户手指的厚度，可能不能准确地指向目标。

在对象跟踪时，可比较模板图像以用于随后的对象跟踪。因此，当模板图像不准确时，对象跟踪的准确度可能降低。例如，当模板图像仅包括目标的一部分或者除了目标之外模板图像还包括许多背景区域时，对象跟踪的准确性可能降低。

包括在用于训练神经网络的训练数据中的模板图像不仅可包括被目标占据的前景区域，还可包括除目标之外的背景区域。当前景区域的比例大时，神经网络可针对各种背景区域执行鲁棒的对象跟踪。然而，当背景区域的比例过大时，这可能超出神经网络的极限，导致对象跟踪的准确性的降低。

发明内容

提供本发明内容来以简化的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确认要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。

在一个总体方面，一种处理器实现的具有对象跟踪的方法包括：基于输入边界框和输入图像来确定初始模板图像；通过从初始模板图像提取特征来生成初始特征图；通过对初始特征图执行适合于对象性的特征变换来生成变换后特征图；通过对变换后特征图执行基于对象性的边界框回归分析，来生成对象性概率图和指示与对象性概率图的每个坐标对应的边界框信息的边界框图；以及基于对象性概率图和边界框图确定改进的边界框。

生成对象性概率图的步骤可包括：通过对变换后特征图执行分类来生成对象性概率图；以及生成边界框图的步骤可包括：通过对变换后特征图执行定位来生成边界框图。

确定改进的边界框的步骤可包括：基于对象性概率图和边界框图确定第一临时边界框；以及将输入边界框的面积与第一临时边界框的面积进行比较。

确定第一临时边界框的步骤可包括：基于与对象性概率图的最高概率对应的边界框图的边界框信息，来确定第一临时边界框。

将输入边界框的面积与第一临时边界框的面积进行比较的步骤可包括：将输入边界框与第一临时边界框的比率与阈值进行比较。

确定改进的边界框的步骤可包括：基于比较的结果，基于对象性概率图和边界框图确定第二临时边界框；以及通过将第一临时边界框与第二临时边界框进行比较，来确定改进的边界框。

确定第二临时边界框的步骤可包括：响应于输入边界框与第一临时边界框的比率大于所述阈值，基于对象性概率图和边界框图来确定第二临时边界框。

通过将第一临时边界框与第二临时边界框进行比较来确定改进的边界框的步骤可包括：确定第一临时边界框与输入边界框的第一交并比(IOU)；确定第二临时边界框与输入边界框的第二IOU；以及通过将第一IOU与第二IOU进行比较来确定改进的边界框。