[发明专利]一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置

说明书

本发明公开一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置，方法包括：步骤S1：获取行人视频数据集并进行行人坐标以及行人轨迹的标注，并生成片段型轨迹数据；步骤S2：构造并训练基于多帧输入与轨迹平滑的行人多目标跟踪网络模型；步骤S3：基于训练得到的行人多目标跟踪网络模型进行推理，获取当前帧行人目标检测与特征提取结果以及其前几帧的行人目标检测与特征提取结果，即获取得到多帧图像目标的坐标及外观特征；步骤S4：利用多帧图像目标的坐标及外观特征进行最短特征距离匹配，并利用轨迹曲率平滑函数进行轨迹平滑，最终得到当前帧的轨迹。本发明具有耗时低，且对同类目标的遮挡问题鲁棒性较好的优点。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置。

背景技术

随着城市公共区域监控相机的广泛部署，基于公共安全及紧急求援的需求，针对感兴趣目标的在线检测及多目标跟踪技术具有重大的学术与商业价值。

当前的大部分针对行人等目标的跟踪算法均是先利用检测网络得到感兴趣目标位置，然后利用ReID网络提取目标的外观特征，最后基于特征空间的距离度量利用匈牙利算法或者贪心算法进行匹配。但是这种方法有明显的缺陷：1.目标匹配时仅仅与前一帧或者前几帧进行特征匹配，同类目标的遮挡极易由于其特征相似而导致身份识别号互换；2.固定特征距离阈值的选取，极易导致新出现的目标由于没有匹配上激活的轨迹而匹配上历史已经消失的轨迹。

基于以上两个问题，学术界目前主要依靠提出一个检测性能更优秀的网络和提出一个特征表达鲁棒性能更强的网络来解决，但是如附图3所示的这种情况，由于同类目标的遮挡确实会导致本目标的一部分外观特征被其他目标的外观特征覆盖，在两个人相遇时，一个人对另一个人进行了遮挡，在遮挡的瞬间，被遮挡者的外观特征也变成了遮挡者的特征，因此在基于特征匹配的方式中，目标的身份ID极其容易导致互换，从而产生如附图3中的B指示线所示的那种错接轨迹，真实情况应该是图3中的A指示线所示的轨迹，这一问题一直没有得到很好的解决。

基于此，需要提供一种运行效率较高，抗同类目标遮挡且性能优异的行人多目标跟踪方法。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置，其具体技术方案如下：

一种基于多帧输入与轨迹平滑的多目标跟踪方法，包括以下步骤：

步骤S1：获取行人视频数据集并进行行人坐标以及行人轨迹的标注，并生成片段型轨迹数据；

步骤S2：构造并训练基于多帧输入与轨迹平滑的行人多目标跟踪网络模型；

步骤S3：基于训练得到的行人多目标跟踪网络模型进行推理，获取当前帧行人目标检测与特征提取结果以及其前几帧的行人目标检测与特征提取结果，即获取得到多帧图像目标的坐标及外观特征；

步骤S4：利用多帧图像目标的坐标及外观特征进行最短特征距离匹配，并利用轨迹曲率平滑函数进行轨迹平滑，最终得到当前帧的轨迹。

进一步地，所述步骤S1，具体为：对获取的开源行人视频，利用标注软件对行人视频序列帧中的行人进行标注，包括标注目标框以及目标的身份识别ID号，ID号从1开始累加；然后对行人视频以固定的长度进行切割捆绑生成轨迹片段，轨迹片段由2m+1个图像序列帧组成，即该轨迹片段的数据由从某时刻图像帧之前m个图像帧至之后m个图像帧组成，m为正整数。