[发明专利]一种基于深度学习和K-曲率法的指尖跟踪方法

说明书

本发明公开了一种基于深度学习和K‑曲率法的指尖跟踪方法，首先利用YOLOv3网络模型训练预处理后的数据集，获取指尖检测模型；再利用摄像头获取视频流，输入检测模型并检测出检测框信息，初始化卡尔曼滤波器；然后利用卡尔曼滤波器得到预测框，计算出本帧检测框和预测框的IOU，设定IOU阈值，判断该IOU是否大于IOU阈值，若该IOU大于IOU阈值则更新卡尔曼滤波器得到指尖跟踪框；否则，利用K‑曲率法对指尖位置进行校正，并更新卡尔曼滤波器；最后设定一个时间阈值T‑max，在该时间阈值帧内未检测跟踪信息，则终止跟踪。本发明减弱了复杂环境对检测准确性的影响，提升了检测速度，增加了准确性和鲁棒性。

技术领域

本发明属于目标检测及跟踪技术，具体涉及一种基于深度学习和K-曲率法的指尖跟踪方法。

背景技术

人手姿态检测与跟踪是目前人机交互与计算机视觉领域的一个热门方向，其子方向指尖检测与跟踪技术是人手姿态检测与跟踪技术的重要的组成部分，通过检测并跟踪指尖可以为空中手写、空中点击虚拟屏幕、手势识别、智慧教学等人机交互行为提供良好的基础。

在指尖检测与跟踪技术中，指尖检测的正确性及跟踪的快速性与准确性都至关重要；目前基于目标检测的算法主要分为传统检测算法和基于深度学习的检测算法，传统目标检测算法主要包括DPM(Deformable Parts Model)、选择性搜索等，这些方法在实际应用中都存在时间复杂度高、环境复杂导致鲁棒性不好，泛化性差等缺点，对于快速变化及发生短暂遮挡的指尖很难进行有效的检测与跟踪。

基于深度学习的指尖检测与跟踪方法可以很好的增加准确率及鲁棒性，主流的深度学习目标检测算法主要分为双阶段检测算法和单阶段检测算法，其中单阶段检测算法中的YOLO系列很好的兼顾了快速性和准确性；跟踪算法目前广泛应用的有基于滤波理论的卡尔曼滤波、粒子滤波等，但单纯的基于滤波的跟踪算法在实际应用中，对于被短暂遮挡的指尖的漏检率较高，在实时性上也有很大提升空间。

发明内容

针对上述现有技术存在问题，本发明要解决的技术问题是提供一种基于深度学习和K-曲率法的指尖跟踪方法，减弱复杂环境对检测准确性的影响，提升检测速度和准确性。

为解决上述技术问题，本发明的一种基于深度学习和K-曲率法的指尖跟踪方法，包括以下步骤：

S1:获取手部数据集，进行预处理；

S2:利用深度学习神经网络模型YOLOv3对数据集进行训练，获取指尖检测模型；

S3:获取视频流，将当前帧输入指尖检测模型中，利用Darknet53网络对当前帧的图像进行多尺度特征提取，检测出目标类别和检测框位置信息，并根据此信息初始化卡尔曼滤波器；

S4:读取下一帧图像，利用卡尔曼滤波器得到预测框，计算出本帧检测框和预测框的IOU，设定IOU阈值，判断该IOU是否大于IOU阈值，若该IOU大于IOU阈值则进行S5步骤，否则进行S6步骤；

S5:用本帧匹配到的预测框去更新卡尔曼滤波器，并将状态更新值作为本帧的跟踪框输出，该帧跟踪完成，回到步骤S4；

S6:利用K-曲率法得到指尖点的位置信息；

S7:计算该指尖点与检测框的中心点的欧式距离，并设定一个阈值，当该距离小于阈值时，则初始化卡尔曼滤波器得到新预测框，并重新开始匹配；否则删除掉此帧的跟踪信息，读取下一帧；

S8:设定一个时间阈值T-max，在该时间阈值帧内未检测跟踪信息，则终止跟踪。

本发明还包括：

1.步骤S1包括以下步骤：

S11:在不同的场景、光照、人、指尖角度、手部数量条件下采集大量包含露出指尖的手部彩色图；