[发明专利]基于头部躯干特征进行多目标跟踪的方法

说明书

本发明涉及一种基于头部躯干特征进行多目标跟踪的方法，包括以下步骤：步骤S1：获取视频中行人检测的结果，并对结果进行筛选，删除错误的检测结果；步骤S2：对筛选后的检测结果进行预处理后，输入到人体关键点检测网络中，得到所有的人体关键点；步骤S3：对得到的每个行人的关键点进行筛选，选取头部以及肩膀的关键点进行组合，获得头部躯干特征；步骤S4：将得到的单个行人的头部躯干特征输入到跟踪器中进行初始化，进而对目标进行跟踪。本发明能够有效地提取检测框中的头部躯干特征，使得跟踪器在初始化的时候获取的有效信息占比最大化。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于头部躯干特征进行多目标跟踪的方法。

背景技术

多目标跟踪即Multiple Object Tracking(MOT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应(Identity),然后给出不同物体的运动轨迹。目前学术界在多目标跟踪(MOT)问题上采用的主流框架是TBD(Tracking-by-Detection)，也就是基于检测的跟踪，在这一主流的跟踪框架中，多目标跟踪问题被表述为一个关联匹配问题：某一帧获得的检测结果如果与上一帧获得的检测结果相匹配，从而认定为同一个目标。

随着近年来单目标跟踪器不断发展，出现了大量跟踪效果好且运行速度快的跟踪器。在之前的工作中，已经有人将单目标跟踪器应用于多目标跟踪任务上，并取得了一定的效果，但是单目标跟踪器在复杂场景中(例如MOT19数据集)的表现并不理想，因为复杂场景中，检测框内包含了大量的冗余特征和干扰信息，用这些特征和信息来初始化跟踪器会对跟踪效果产生极大的影响。

发明内容

有鉴于此，本发明的目的在于提供一种基于头部躯干特征进行多目标跟踪的方法，能够有效地提取检测框中的头部躯干特征，使得跟踪器在初始化的时候获取的有效信息占比最大化。

为实现上述目的，本发明采用如下技术方案：

一种基于头部躯干特征进行多目标跟踪的方法，包括以下步骤：

步骤S1：获取视频中行人检测的结果，并对结果进行筛选，删除错误的检测结果；

步骤S2：对筛选后的检测结果进行预处理后，输入到人体关键点检测网络中，得到所有的人体关键点；

步骤S3：对得到的每个行人的关键点进行筛选，选取头部以及肩膀的关键点进行组合，获得头部躯干特征；

步骤S4：将得到的单个行人的头部躯干特征输入到跟踪器中进行初始化，进而对目标进行跟踪。

进一步的，所述步骤S1具体为：

步骤S11:对视频每一帧图像进行预处理后，利用目标检测网络对其进行检测；

步骤S12：利用行人检测器对视频每一帧的信息进行检测，获得检测结果R，令R＝{K_i,P_j,det_x,det_y,det_w,det_h,det_c},i＝1,2,...M,j＝1,2,...N，表示一个视频序列中所有检测结果的集合，其中M表示一个视频序列中所有图像帧的数量，N表示一帧图像中所有被检测到的行人的数量，K_i表示一个视频序列中的第i帧图像，P_j表示此帧图像中的第j个行人，det_x,det_y,det_w,det_h分别表示这个行人的检测框左上角的x坐标、y坐标、以及检测框的宽和高，det_c表示这个检测框的置信度；

步骤S13：令行人检测置信度阈值为T_d，行人宽高比阈值为T_r，删除满足下列条件的检测结果：

det_c＜T_d or det_w/det_h＞T_r。

进一步的，所述步骤S2具体为：