[发明专利]捏合手势检测识别方法、装置及系统

说明书

本发明涉及图像识别技术领域，提供一种捏合手势检测识别方法，应用于电子装置，包括实时获取待检测视频中每一帧的图像数据；基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势。利用上述发明能够快速、准确的对用户手势进行检测及识别，提高用户对人造现实系统的体验效果。

技术领域

本发明涉及图像检测技术领域，更为具体地，涉及一种捏合手势检测识别方法、装置及系统。

背景技术

目前，VR/AR/MR一体机设备越来越多的进入到人们生活中，其主要的应用场景是当用户进行VR/AR/MR场景交互时，通过头戴上的多目追踪摄像头自动识别跟踪用户手一些行为轨迹信息，并通过手的一些行为轨迹检测手势指令，然后作为人造虚拟现实系统的输入信息，和虚拟场景进行交互。

其中，对于上述一体设备的空间定位方式，比较普遍和流行的是在一体机设备上内置一个或者多个单色鱼眼追踪相机，通过追踪相机实时定位一体机设备相对物理空间环境的位置和姿态信息。此外，为增强VR/AR/MR一体机设备的虚实结合的沉浸感，使此类设备具有更好的人机交互体验，作为关键模块的手势交互模块必不可少，且其在VR/AR/MR的场景交互中占据着越来越重要的位置。

现有的手势交互模块在采集用户手部动作信息时，通常是在手臂采集手部动作的肌电信号，然后根据肌电信号判断手部动作，该方式成本高，且需要对应的手臂采集装置，用户佩戴体验效果差；此外，采用简单的手势识别模型，通过识别模型直接进行手势识别，对手指的识别精度较差，容易出现误判，适用场景受限，影响用户体验。

发明内容

鉴于上述问题，本发明的目的是提供一种捏合手势检测识别方法、装置及系统，以解决现有手势检测方法存在的成本高、佩戴效果差，或者识别精度提，影响用户体验等问题。

本发明提供的捏合手势检测识别方法，应用于电子装置，包括：实时获取待检测视频中每一帧的图像数据；基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势。

此外，优选的技术方案是，每一帧的图像数据通过至少两个鱼眼追踪相机获取，确定手部位置上的预设个数的骨骼点的步骤包括：基于骨骼点识别模型确定手部位置上的预设个数的骨骼点的二维坐标信息；根据二维坐标信息及立体三角成像原理，实时获取与二维坐标信息对应的三维位置坐标信息；其中，三维位置坐标信息用于确定预设手指的骨骼点间的距离信息。

此外，优选的技术方案是，根据预设手指的骨骼点间的距离信息确定手部是否为捏合手势的步骤包括：根据三维坐标位置信息，确定预设预手指对应的骨骼点之间的三维欧式距离；当三维欧氏距离小于预设阈值时，确定手部为捏合手势；否则，当三维欧氏距离大于等于预设阈值时，确定手部为非捏合手势。

此外，优选的技术方案是，还包括：通过手部检测模型获取手部位置在对应的图像数据上的ROI，并获取与ROI对应的ROI图像；对ROI图像进行二值化处理，获取对应的二值化图像；基于骨骼点及图像处理原理，获取二值化图像中的预设手指之间的轮廓信息；获取与轮廓信息对应的轮廓特征距离以及预设手指的指尖骨骼点之间的欧式距离；当轮廓特征距离大于欧式距离，且手部位置的预设两手指之间的三维欧氏距离小于预设阈值时，确定手部为捏合手势。

此外，优选的技术方案是，手部检测模型的训练过程包括：对获取的训练图像数据中的目标区域进行标注，并获取标注的位置信息；其中，目标区域为手部区域；利用yolo模型对标注后的位置信息进行参数训练，直至yolo模型收敛在对应的预设范围内，以完成手部检测模型的训练。