[发明专利]一种基于行人姿态估计的多帧轨迹跟踪系统及其方法

权利要求书

1.一种基于行人姿态估计的多帧轨迹跟踪系统，其特征在于，基于Tracking byObject Detection跟踪框架实现，在单帧object detection的基础上增加posedetection，同时将pose的信息引入tracking，以通过目标及其姿态检测范式进行跟踪，包括依次连接的单帧模型和跟踪器，所述单帧模型与车载摄像头相连接，以从车载摄像头采集的视频数据中获取单帧图像，所述单帧模型内设置有检测器和多人姿态估计模块，所述检测器用于输出对应于单帧图像中所有行人目标的检测置信度和检测框；

所述多人姿态估计模块用于对行人目标进行2D人体姿态估计，输出对应的2D姿态关键点坐标；

所述跟踪器根据单帧模型的输出数据，用于对当前帧图像和上一帧图像中的行人目标进行跟踪匹配、并同步更新跟踪器自身参数。

2.根据权利要求1所述的一种基于行人姿态估计的多帧轨迹跟踪系统，其特征在于，所述检测器具体采用基于Transformer的Deformable DETR框架。

3.一种基于行人姿态估计的多帧轨迹跟踪方法，其特征在于，包括以下步骤：

S1、从车载摄像头采集的视频数据中提取出单帧图像，并输入单帧模型；

S2、单帧模型对输入的单帧图像进行处理，输出单帧图像中所有行人目标的检测置信度、检测框以及2D姿态关键点坐标；

S3、根据视频数据中第一帧图像相应的单帧模型输出数据，对跟踪器进行参数初始化，之后单帧模型更新输出数据至跟踪器；

S4、跟踪器对当前帧图像和上一帧图像中的行人目标进行跟踪匹配、输出跟踪结果，并同步更新跟踪器自身参数。

4.根据权利要求3所述的一种基于行人姿态估计的多帧轨迹跟踪方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、单帧图像输入单帧模型的检测器，输出得到该单帧图像中所有行人目标对应的检测置信度和检测框；

S22、根据检测器输出的数据，由单帧模型的多人姿态估计模块对单帧图像中各行人目标进行2D姿态估计，并输出对应的2D姿态关键点坐标。

5.根据权利要求3所述的一种基于行人姿态估计的多帧轨迹跟踪方法，其特征在于，所述步骤S3中对跟踪器进行参数初始化具体是对跟踪器的以下参数进行初始化：

检测置信度、检测框、2D姿态关键点和track ID，其中，检测置信度、检测框、2D姿态关键点分别对应为视频数据中第一帧图像相应的单帧模型输出数据，track ID是由0开始赋值的不可重复标志。

6.根据权利要求3所述的一种基于行人姿态估计的多帧轨迹跟踪方法，其特征在于，所述步骤S4中跟踪器对当前帧图像和上一帧图像中的行人目标进行跟踪匹配的具体过程为：

S41、根据当前帧图像相应的单帧模型数据和上一帧图像相应的单帧模型数据，分别计算出检测框匹配度、关键点相似度和基于参考点的匹配分数，将这三个计算结果累加得到最终的匹配得分矩阵；

S42、根据最终的匹配得分矩阵，确定出当前帧图像与上一帧图像之间的轨迹相似度，若该轨迹相似度超过对应的预设阈值，则判断上一帧图像中的目标在当前帧图像找到相匹配的对象、即匹配成功；

否则判断上一帧图像中的目标在当前帧图像不存在相匹配的对象、即匹配失败。

7.根据权利要求6所述的一种基于行人姿态估计的多帧轨迹跟踪方法，其特征在于，所述检测框匹配度具体为：

其中，A,B分别对应两个检测框所占据的面积，C为AB的外接最小矩形所占的面积。

8.根据权利要求6所述的一种基于行人姿态估计的多帧轨迹跟踪方法，其特征在于，所述关键点相似度具体为：

其中，d为对应关键点之间的欧式距离，S为对象的尺寸大小，x和y对应为关键点的坐标值，为对象真值框的对角线上两顶点坐标。