[发明专利]融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统

说明书

一种融合骨骼识别和IFace‑TLD的移动机器人目标跟踪系统，包括通过Kinect传感器获取人体的原始彩色图片和上肢的骨骼图片，分别通过用于在彩色图片上对目标进行跟踪定位的IFace‑TLD单元，以及用于在骨骼图片上对目标进行跟踪定位的骨骼识别单元得到目标所在区域框，并送入图像目标定位单元，图像目标定位单元根据得到的目标所在区域框在原始彩色图片标出目标区域，并将目标区域反馈给IFace‑TLD单元。本发明有效地解决了短序列跟踪问题，不论跟踪序列的长短，都能够对目标人脸实现较好的跟踪。本发明即使是人脸背对着摄像头的情况下，也能够实现稳定的识别效果。不仅实现了基于骨骼识别的在线处理，还提高了跟踪的准确度以及鲁棒性。

技术领域

本发明涉及一种移动机器人目标跟踪系统。特别是涉及一种融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统。

背景技术

目标跟踪在安防、机器人、人机交互等领域有着广泛的应用。在实际的跟踪过程中，由于目标的快速运动、光照的变化以及遮挡等因素，实现鲁棒而高效的跟踪是一个极具挑战性的工作。

人脸具有较大的区分性，为了达到较好的跟踪效果，我们选择对目标人脸进行跟踪。基于人脸的跟踪-检测-学习算法(Face-TLD)可以实现长时间地对人脸进行跟踪。但是，因为这是一个长跟踪算法，当跟踪序列较短时，由于Face-TLD中学习部分的训练不够充分，跟踪效果较差，甚至会发生较大的漂移。另外，在实际的应用场景中，人脸的转动有较大的随机性，不能保证人脸每时每刻都正对着摄像头，在有些情况下，目标人脸可能完全背对着摄像头，这时，基于图像外观的跟踪算法都会失效。

人脸具有独特的生物学特性，已在许多场合得到应用。然而，大多数高精度的人脸识别算法都是很耗时的，这些耗时的算法不能应用到对实时性要求较高的移动机器人目标跟踪中。

基于TLD算法，Face-TLD能够长时间、鲁棒地跟踪人脸。原始的TLD是一个单目标跟踪算法，可以在视频流中长时间地跟踪一个未知的物体。原始的TLD可以被分为三个部分，即，跟踪部分、学习部分和检测部分。因为其跟踪效果良好，有很多基于此算法的改进工作。Face-TLD就是其中一个。Face-TLD将人脸检测和TLD结合起来，从而实现对人脸的长时间跟踪。在原始的Face-TLD中，检测器可以被分为两个部分，即，人脸检测部分和验证器部分。人脸检测部分对所有的图像块进行处理，验证器部分输出包含特定人脸的图像块的置信系数。然而，当跟踪序列较短时，由于学习部分的训练不够充分，Face-TLD无法达到一个令人满意的跟踪效果。具体来说，由于要处理各种不确定性，从而引入了学习部分。但是，为了保证精度，学习部分需要充分多的训练数据，同时，这是一个耗时的过程。短序列无法提供充足的图片来训练学习部分。更严重的是，在跟踪初期时，如果目标之间的外观比较相似的话，原始的Face-TLD很有可能会跟丢目标。

微软Kinect传感器可以直接采集人体骨骼信息，对人体运动较为鲁棒，即使人体完全背对着Kinect，都可以采集到较为稳定的骨骼。由于传感器的优势，基于骨骼的人体识别对光照、运动以及目标外观变化有较好的鲁棒性。但是，现有的基于骨骼的人体识别算法都是采集一定数量的数据，然后离线处理，需要手动设置训练标签，难以实现在线识别。这显然不能满足移动机器人在线跟踪的要求。

发明内容

本发明所要解决的技术问题是，提供一种能够对目标人脸实现较好的跟踪，并能提高跟踪准确度以及鲁棒性的融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统。

本发明所采用的技术方案是：一种融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统，包括通过Kinect传感器获取人体的原始彩色图片和上肢的骨骼图片，分别通过用于在彩色图片上对目标进行跟踪定位的IFace-TLD单元，以及用于在骨骼图片上对目标进行跟踪定位的骨骼识别单元得到目标所在区域框，并送入图像目标定位单元，图像目标定位单元根据得到的目标所在区域框在原始彩色图片标出目标区域，并将目标区域反馈给IFace-TLD单元。