[发明专利]一种基于行人姿态估计的多帧轨迹跟踪系统及其方法

说明书

本发明涉及一种基于行人姿态估计的多帧轨迹跟踪系统及其方法，该系统基于Tracking by Object Detection跟踪框架实现，在单帧object detection的基础上增加pose detection，同时将pose的信息引入tracking，以通过目标及其姿态检测范式进行跟踪；该方法包括：将单帧图像经过特征提取后输入检测器，输出检测置信度和检测框的坐标；分别对不同检测框中的行人进行姿态预测；根据视频第一帧图像的相应单帧模型输出数据初始化跟踪器；在基于检测框的匹配和基于姿态信息的匹配的基础上，基于检测器的参考点进行跟踪优化，利用姿态的相关判断和检测器的参考点在两帧图像之间建立目标关联。与现有技术相比，本发明能够优化整体跟踪效果，提高在具有遮挡和运动的场景下的检测和关联性能，有效提高跟踪效果。

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及一种基于行人姿态估计的多帧轨迹跟踪系统及其方法。

背景技术

自动驾驶作为近年来汽车行业发展的主要趋势之一，其相应的检测及控制技术已经成为了当前的研究热点。

常见的交通环境中除了来往的车辆，必不可少的会存在相当数量的行人，行人检测自然成为自动驾驶技术中不可避免的环节。而如何利用车载视觉感知系统对自动驾驶环境中的人体姿态进行检测与跟踪就成了该方向的重要命题。传统算法采用手工特征和复杂的人体模型来获取局部表示和全局姿势结构，考虑到人体的复杂程度，更多的模型开始采用深度学习方法来提取相关特征。

近年来，深度学习算法飞速发展，大量高效的模型和完善的数据集被发表，这使得基于人体姿态估计来进行多目标理解与跟踪成为可能。然而现有方法大多直接采用检测器的结果进行跟踪轨迹的分析，尽管许多强大的检测器模型具有卓越的性能，但简单地使用检测器的结果进行跟踪，将会在具有遮挡和运动的场景下降低总体的关联性能，导致实际跟踪效果较差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于行人姿态估计的多帧轨迹跟踪方法，通过在现有检测器基础上整合集成人体姿态信息，以有效提高跟踪效果。

本发明的目的可以通过以下技术方案来实现：一种基于行人姿态估计的多帧轨迹跟踪系统，基于Tracking by Object Detection跟踪框架实现，在单帧object detection的基础上增加pose detection，同时将pose的信息引入tracking，以通过目标及其姿态检测范式进行跟踪，包括依次连接的单帧模型和跟踪器，所述单帧模型与车载摄像头相连接，以从车载摄像头采集的视频数据中获取单帧图像，所述单帧模型内设置有检测器和多人姿态估计模块，所述检测器用于输出对应于单帧图像中所有行人目标的检测置信度和检测框；

所述多人姿态估计模块用于对行人目标进行2D人体姿态估计，输出对应的2D姿态关键点坐标；

所述跟踪器根据单帧模型的输出数据，用于对当前帧图像和上一帧图像中的行人目标进行跟踪匹配、并同步更新跟踪器自身参数。

进一步地，所述检测器具体采用基于Transformer的Deformable DETR框架。

一种基于行人姿态估计的多帧轨迹跟踪方法，包括以下步骤：

S1、从车载摄像头采集的视频数据中提取出单帧图像，并输入单帧模型；

S2、单帧模型对输入的单帧图像进行处理，输出单帧图像中所有行人目标的检测置信度、检测框以及2D姿态关键点坐标；

S3、根据视频数据中第一帧图像相应的单帧模型输出数据，对跟踪器进行参数初始化，之后单帧模型更新输出数据至跟踪器；

S4、跟踪器对当前帧图像和上一帧图像中的行人目标进行跟踪匹配、输出跟踪结果，并同步更新跟踪器自身参数。

进一步地，所述步骤S2具体包括以下步骤：