[发明专利]一种手势操控方法和系统

说明书

本发明公开了一种手势操控方法和系统，属于智能交互技术领域，包括：采集含有手势动作的图像帧序列，将图像帧序列中各图像帧分别输入到手势跟踪模型和训练好的手势检测模型，得到各图像帧的手势类别和手势检测框中心点的坐标值；将各图像帧的手势类别和自定义的手势语义集进行匹配，得到手势类别对应的语义，将所述语义转化为指令，根据指令对终端节点和终端节点投影后的显示模块的相应位置进行操作；查看终端节点和显示模块的相应位置操作结果并将其反馈给用户进行参考。本发明不依赖可穿戴式设备，操作起来方便灵活，也不需要高性能计算处理设备，降低了使用成本。

技术领域

本发明属于智能交互技术领域，更具体地，涉及一种手势操控方法和系统。

背景技术

传统的视频指挥调度系统的交互方式多为传统的有线鼠标、键盘等触摸式人机交互方式。这种经典的交互方式具有一定的局限性，固定操作人员在一定范围内操作，灵活性不强。

目前，流行的交互方式多为手势操控及语音操控。手势是人类本能的身体语言，具有简单性、易学性和语义丰富性等优点，因此以手势交互的人机交互方式越来越受欢迎。手势交互可以分为裸手手势交互和可穿戴式、体感手势交互。其中，可穿戴式、体感手势交互是指需要介质的手势交互，这种手势交互方式依赖外部设备，如数据手套数据腕带等，具有一定的局限性。裸手手势交互不需要依赖可穿戴式、体感手势设备，操作起来更加方便灵活。

深度学习网络是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标--人工智能,深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。2D U-net全卷积神经网络和3D U-net全卷积神经网络都属于深度学习网络。2D U-net全卷积神经网络是一种端到端、像素到像素的对象识别与定位网络，它可以对每个像素都产生一个预测，最后输出一张已标记好的图片，效率高且结果比较直观。3DU-net全卷积神经网络考虑到时间维度的帧间运动信息，能更好的捕获视频中的时间和空间的特征信息。

综上，现有技术虽然能实现通过手势进行人机交互，但仍有不足。因此，提供一种不需要依赖任何可穿戴式、体感设备，也不需要专用的高性能计算处理设备，只需要通过普通摄像头采集手势动作即可完成控制操作的手势操控方法和系统，成为了智能交互技术领域的当务之急。

发明内容

针对现有技术的缺陷，本发明提供了一种手势操控方法和系统，旨在解决现有技术依赖可穿戴式设备或体感设备，需要高性能计算处理设备导致成本高昂，无法大面积推广的问题。

为实现上述目的，本发明提供了一种手势操控方法，包括如下步骤：

(1)手势识别步骤：手势采集模块采集含有手势动作的图像帧序列，将图像帧序列中各图像帧分别输入到手势跟踪模型和训练好的手势检测模型，手势跟踪模型对各图像帧进行处理，得到各图像帧中手势区域的位置信息，将其输入到训练好的手势检测模型，得到各图像帧的手势类别和手势检测框中心点的坐标值；

(2)指令执行步骤：将各图像帧中手势检测框中心点的坐标值转换到终端节点和终端节点投影后的显示模块的相应位置，将各图像帧的手势类别和自定义的手势语义集进行匹配，得到手势类别对应的语义，将所述语义转化为指令，根据指令对终端节点和终端节点投影后的显示模块的相应位置进行操作；

(3)指令执行结果查看步骤：查看终端节点和显示模块的相应位置操作结果并将其反馈给用户进行参考。

在一个可选的实施例中，所述训练好的手势检测模型，具体为：

手势采集模块在近肤色背景和不同光照条件下采集不同手势动作的图像帧，所有手势动作的图像帧组成手势样本库，将手势样本库中各图像帧进行标注；

对手势样本库中各图像帧进行预处理操作，包括：颜色转换和尺寸缩放；