[发明专利]基于Soft-NMS的多尺度人体跟踪方法及装置

说明书

基于Soft‑NMS的多尺度人体跟踪方法及装置，能够增强目标框检测方法的抗遮挡性，同时获得更深层次的人体外观特征。方法包括：(1)通过Yolov3网络提取人体目标，然后基于目标框的DIoU进行非极大值抑制，再通过一个基于常量速度和线性观测模型的标准卡尔曼滤波器，对目标运动状态进行预测，利用马氏距离表示预测框与下一帧目标框之间的关联度，代表距离特征；(2)使用Mars数据集上离线训练的深度学习模型，提取人体外观特征；(3)将距离特征与外观特征进行尺度融合，作为下一帧目标确定的匹配度量标准，通过级联匹配的原则进行目标确认，不断对输入的帧进行处理更新，最终完成跟踪任务。

技术领域

本发明涉及医学图像处理的技术领域，尤其涉及一种基于Soft-NMS的多尺度人体跟踪方法，以及基于Soft-NMS的多尺度人体跟踪装置。

背景技术

目标跟踪方法主要用于解决视频序列中的特定目标轨迹定位问题，通过对目标的轨迹检测，能够获取物体的全方位运动信息，有利于进行运动状态分析及轨迹预判，在智能监控领域有重大应用价值。

目前目标跟踪方法按照原理可分为生成式模型和鉴别式模型。生成式模型主要通过目标在后续帧中进行特征搜索，典型方法如光流法，卡尔曼滤波及Meanshift等方法，由于方法进行特征搜索时并不进行背景建模，故在目标被遮挡时，方法跟踪效果较差。鉴别式模型则融合了目标与背景信息进行特征建模，深度学习，相关滤波等方法都属于该模型，典型方法包括KCF，SMAF及SORT方法等。针对室内应用场景，这些方法仍存在较多问题，如室内遮挡情况较多以及运动目标往往伴随着明显的尺度变换，跟踪效果仍需进一步提升。

Sort方法使用目标框和预测框之间的交并比作为帧与帧之间是否为同一目标的度量指标，通过使用卡尔曼滤波进行当前位置的预测，基于Hungarian方法将目标框和目标进行关联，检测过程则通过Faster RCNN网络进行实现，方法的设计思路简单，处理速度快，但其目标的外观特征利用度较低，追踪时仅依靠关联帧之间的距离特征，并未进行任何遮挡处理，导致方法ID switch次数很高。Deep-Sort方法在Sort的基础上充分利用了外观特征信息，引入ReId(Person Re-identification)数据集上的深度学习模型，在追踪时将目标的外观特征添加到匹配计算中。但由于方法的帧率很低，所以无法进行实时应用，且它并未针对检测方法做抗遮挡处理，导致目标发生遮挡时会产生跟踪丢失现象；同时方法中引入ReId模型结构较为简单，网络提取的外观特征不够充分，难以处理室内场景下目标的尺度变化问题。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于Soft-NMS的多尺度人体跟踪方法，其能够增强目标框检测方法的抗遮挡性，同时获得更深层次的人体外观特征。

本发明的技术方案是：这种基于Soft-NMS的多尺度人体跟踪方法，其包括以下步骤：

(1)通过Yolov3网络提取人体目标，然后基于目标框的DIoU进行非极大值抑制，再通过一个基于常量速度和线性观测模型的标准卡尔曼滤波器，对目标运动状态进行预测，利用马氏距离表示预测框与下一帧目标框之间的关联度，代表距离特征；

(2)使用Mars数据集上离线训练的深度学习模型，提取人体外观特征；

(3)将距离特征与外观特征进行尺度融合，作为下一帧目标确定的匹配度量标准，通过级联匹配的原则进行目标确认，不断对输入的帧进行处理更新，最终完成跟踪任务。

本发明首先通过Yolov3进行目标框提取，基于DIoU进行非极大值抑制，采用Soft-NMS增强抗遮挡性，然后利用使用Mars数据集上离线训练的深度学习模型提取人体外观的深层特征，最后将距离特征与外观特征进行尺度融合，因此能够增强目标框检测方法的抗遮挡性，同时获得更深层次的人体外观特征。

还提供了基于Soft-NMS的多尺度人体跟踪装置，其包括：