[发明专利]基于深度学习的多人跟踪方法及系统

说明书

本公开提供了一种基于深度学习的多人跟踪方法及系统，所述方案利用预先训练的影子特征模型来识别并追踪被遮挡用户的影子，并根据被遮挡用户的影子求解被遮挡用户的位置，同时，在单Kinect设备下，根据捕获的用户信息对未遮挡用户、遮挡用户进行位置计算，实现对多用户位置的实时跟踪。

技术领域

本公开属于多目标跟踪技术领域，尤其涉及一种基于深度学习的多人跟踪方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

目标跟踪是计算机视觉里的一个重要问题，遮挡是多目标跟踪中常见的情况。目标可能发生自遮挡、被背景中静止物体遮挡和被其他的运动目标遮挡，而且遮挡的程度也不同。如何有效处理遮挡，特别是严重遮挡，一直是多目标跟踪中的难点问题。特别是长期的、完全遮挡是最具挑战性的遮挡形式之一。

目前，目标跟踪方法可分为基于光学的相关滤波方法和基于深度学习的模型方法：

(1)粒子滤波(Particle Filter)算法是一种融合贝叶斯推理和重要采样思想的蒙特卡罗方法(Monte Carlo method)，其原理是首先会用均匀分布或者高斯分布等分布方法将粒子播撒到像素图像中，统计粒子的相似度及可能位置，从而估算追踪目标的位置。但由于相关滤波类算法建立的都是运动模型，故常用于估计目标在下一时刻的位置。

(2)神经网络(Neural Network)的跟踪算法，在大数据的背景下，利用卷积神经网络，通过定义不同的卷积核、卷积层数等的学习率以及相关系数，来对目标进行特征提取并形成特征矩阵，最后对于视频的每一帧逐像素与特征矩阵进行比对从而得到目标位置。相比相关滤波算法，深度学习算法牺牲了一定的时间来提高识别的精度。

(3)调幅连续滤波(AWCW)时差测距(ToF)原理。Kinect相机作为一款深度捕捉相机就使用了这个原理，通过发射红外线光波，将近红海(NIR)频谱中的调制光投射到场景之中，并记录光线从相机到场景，再从场景到相机的时间来测算三维距离。

然而，发明人发现，当用户在单相机单一视角下发生长时间、完全遮挡时，会导致观察信息丢失。因此，上述方法在完全、长时间遮挡的情况下存在无法很好地跟踪被遮挡的人的问题；而专利“支持移动虚拟现实应用的单Kinect多人跟踪系统及方法”虽然提供了一种融合多感知数据线索的遮挡目标的检测方法，但需要借助手机陀螺仪传感器数据和Kinect数据共同实现，其实施灵活性较差。

发明内容

本公开为了解决上述问题，提供了一种基于深度学习的多人跟踪方法及系统，所述方案利用预先训练的影子特征模型来识别并追踪被遮挡用户的影子，并根据被遮挡用户的影子求解被遮挡用户的位置，同时，在单Kinect设备下，根据捕获的用户信息对未遮挡用户、遮挡用户进行位置计算，实现对多用户位置的实时跟踪。

根据本公开实施例的第一个方面，提供了一种基于深度学习的多人跟踪方法，包括：

实时采集待追踪的多人视频数据；

从当前视频帧中获取人员数量，并基于遮挡发生开关及相邻帧人数变化，判断当前帧是否存在遮挡；

若当前视频帧与前一视频帧的人数相等，则查询遮挡发生开关状态，若为未遮挡状态，则基于kinect内置算法直接计算人员位置；若为遮挡状态，则基于预先训练的影子特征模型识别被遮挡人员的影子，并通过人员影子求解被遮挡人员位置；若当前视频帧与前一视频帧的人数不等，则对当前视频帧与前一视频帧中的人数进行比较，若当前视频帧小于前一视频帧，则置遮挡发生开关为true，并基于预先训练的影子特征模型识别被遮挡人员的影子，并通过人员影子求解被遮挡人员位置；若不小于前一视频帧，则基于kinect内置算法直接计算人员位置；直至完成最后一帧数据的处理，实现多人跟踪。