[发明专利]基于在线机器学习的视觉人手跟踪方法及系统

说明书

技术领域：

本发明属于视觉目标跟踪和智能人机交互领域，具体涉及一种鲁棒的基于在线机器学习的视觉人手跟踪方法及系统。

背景技术：

基于视觉的人手跟踪技术是一门融合了图像处理、模式识别、人工智能等许多领域的关键技术。视觉人手跟踪技术有着十分广泛的应用，例如视频监控、智能电视、机器人控制、视觉游戏等需要人机交互的领域。由于人手跟踪技术有着巨大的应用前景，在国际和国内对视觉人手跟踪的研究方兴未艾。

在人机交互环境下，人手跟踪技术受到了很多挑战。比如受日光和灯光的影响，光线变化较大；背景中静态干扰物和动态干扰物形态各异且运动方式无法预测；人手与环境中其他物体之间的相互运动较为复杂，且容易受到遮挡。面对这些困难，如何实现稳定的人手跟踪，从而进行更智能和稳定的人机交互，具有着重要的意义。

目前基于视觉的人手跟踪技术大致可以分为基于外观的方法和基于模型的方法。基于外观的方法首先从图像中提取特征，与人手具有的特定特征进行匹配，在这些基于外观的方法中光流法、均值漂移法、最大稳定极值区域法是最为常见的方法。而基于模型的方法主要利用人手的3D或2D模型对人手的特征进行估计，并与观测到的特征进行匹配，例如粒子滤波、3D几何人手模型、图模型等。在这些方法中，鲁棒性都依赖于对特定环境中的多特征融合，缺乏可靠的理论基础。基于模型的方法在速度上有着较大的缺陷，而外观的方法在准确性上有着明显的不足。

近年来机器学习在机器视觉领域得到了广泛的研究。基于分类器的目标检测方法为目标跟踪提供了更高的鲁棒性。但是单纯的目标检测对于简单的外观变化如光照变化、快速运动等却缺乏鲁棒性。如何结合目标检测和目标跟踪的优点来达到更高的鲁棒性具有重要的理论研究和应用意义。

发明内容：

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于在线机器学习的视觉人手跟踪方法。本发明通过在线学习将基于分类器的检测和基于运动连续性的跟踪结合起来，以实现对现实应用场景鲁棒的人手跟踪。通过利用层级分类器（检测器）对搜索区域内的像素点进行分类，得到对目标的保守但稳定的估计；利用结合鸟群算法的光流法跟踪器对目标进行适应性较强但不太稳定的估计；利用在线学习机制将二者结合得到的跟踪结果，并且根据时间空间约束产生新的样本来在线更新层级的分类器，从而实现跟踪器和检测器的互补，来获得更加鲁棒的跟踪结果。

本发明的技术方案如下：一种基于在线机器学习的视觉人手跟踪方法，其步骤为：

1）对视觉数据输入图像，提取得到图像特征并检测初始人手目标位置得到正负样本，对所述正负样本进行训练得到初始化的分类器；同时在所述分类器中增加肤色约束；

2）对后续采集的视觉数据输入图像，选取待跟踪物体的特征点，使用基于鸟群算法的光流跟踪法跟踪所述特征点确定搜索窗口，得到物体跟踪器；

3）所述物体跟踪器在搜索窗口中对物体的特征点进行跟踪，根据特征点集估计物体位置得到目标跟踪物体的置信度，所述分类器对置信度不可靠的物体进行检测，输出更新后的物体目标中心和窗口；

4）根据物体目标中心和窗口在所述分类器中通过时间、空间、肤色约束条件产生正负样本训练集，重新训练在线机器学习的分类器，更新分类器的参数，用于下一帧的跟踪。

更进一步，所述步骤2）中基于鸟群算法的光流跟踪法按照如下方法跟踪所述特征点：

1)输入物体目标位置以及搜索窗口，并通过栅格法随机产生特征点集；

2)通过LK光流法跟踪器跟踪选取的特征点，得到跟踪成功特征点集以及跟踪失败特征点集，从特征点集中剔除掉跟踪失败的特征点；

3)判断跟踪特征点的偏离，判断是否补充特征点，并根据肤色检测机制，在跟踪目标中选取肤色点补充到特征点集中；

4)将满足约束的特征点加入到特征点集中，继续进行跟踪；

5)通过跟踪成功的特征点集对目标窗口以及中心位置进行估计，输出跟踪目标窗口以及中心位置。

更进一步，所述鸟群算法对特征点之间需要满足的关系约束如下：

MINDist＜|p_i-p_j|，MAXDist＞|p_j-m|，m＝median(F)，任何两个特征点p_i、p_j的最大距离不超过特征点之间的最大距离MAXDist，最小距离不小于特征点之间的最小距离MINDist，m是中间点；所述肤色点的RGB值根据跟踪需要设定。

更进一步，所述分类器为P-N在线学习分类器。