[发明专利]一种基于图像识别的手势信号输入方法及系统

说明书

本申请提出了一种基于图像识别的手势信号输入方法及系统，涉及计算机交互领域。一种基于图像识别的手势信号输入方法包括：通过摄像装置及AI手部追踪技术，获取包含手势信息的图像；对包含手势信息的图像进行图像分割，从而进行手势特征提取和识别，并将识别结果给予手势标注对应的特征码；通过手势标注对应的特征码进行文本输入，其中，文本输入包括对应的特征码匹配到的文本识别，获得对应的文本内容。能够让用户可以完全脱离键盘，及手柄，仅根据手部视频数据，即可完成高精度，低功耗，体验佳的现代化的信息输入方案。用户无需凭借然后媒介，即可把简单自然的手势动作转为精确的输入信号。

技术领域

本申请涉及计算机交互领域，具体而言，涉及一种基于图像识别的手势信号输入方法及系统。

背景技术

现有的技术中，虚拟键盘需要依托于手柄进行交互，如果以手指虚拟点击，则精度极低，非常容易误触，且这种交互方式并不适合在mr场景下作为主力输入，因为这是传统键盘的复刻。而在使用实体键盘时则无法站立使用，且在游戏娱乐场景中难以让用户抱着键盘进行运动。

发明内容

本申请的目的在于提供一种基于图像识别的手势信号输入方法，其能够让用户可以完全脱离键盘，及手柄，仅根据手部视频数据，即可完成高精度，低功耗，体验佳的现代化的信息输入方案。用户无需凭借然后媒介，即可把简单自然的手势动作转为精确的输入信号。

本申请的另一目的在于提供一种基于图像识别的手势信号输入系统，其能够运行一种基于图像识别的手势信号输入方法。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供一种基于图像识别的手势信号输入方法，其包括通过摄像装置及AI手部追踪技术，获取包含手势信息的图像；对包含手势信息的图像进行图像分割，从而进行手势特征提取和识别，并将识别结果给予手势标注对应的特征码；通过手势标注对应的特征码进行文本输入，其中，文本输入包括对应的特征码匹配到的文本识别，获得对应的文本内容。

在本申请的一些实施例中，上述通过摄像装置及AI手部追踪技术，获取包含手势信息的图像包括：在获取包含手势信息的图像之前，检测交互场景中是否出现光标，若出现则确认用户需要输入内容，同时确认用户当下想对光标进行输入。

在本申请的一些实施例中，上述还包括：判断是否存在手势运动轨迹，且当前时刻与手势运动轨迹生成时的时间间隔大于预设时间间隔，若是，则对手势运动轨迹则确认用户需要输入内容。

在本申请的一些实施例中，上述对包含手势信息的图像进行图像分割，从而进行手势特征提取和识别，并将识别结果给予手势标注对应的特征码包括：对包含手势信息的图像进行图像分割得到深度图像，将深度图像输入至预设的手势识别模型中，获得手势识别结果，并将识别结果给予手势标注对应的特征码。

在本申请的一些实施例中，上述还包括：手势识别网络采用3D残差网络，基于手势特征建立手势识别网络形成手势识别模型，手势识别网络分别训练不进行权值共享，通过前向传播计算损失值，通过反向传播算法减少损失值，最终使损失值收敛，完成手势识别模型的训练。

在本申请的一些实施例中，上述通过手势标注对应的特征码进行文本输入，其中，文本输入包括对应的特征码匹配到的文本识别，获得对应的文本内容包括：判断图像中的手势是否保持动作并将手在水平方向平移，若是，则根据碰撞点进行字符切换，手势移动时选择在字符中切换，当用户选中目标字符后，再次判断手势是否分离，若分离，则确定并输入对应字符。

在本申请的一些实施例中，上述还包括：获取用户的结束手势图像，基于结束手势图像对一个或多个手势运动轨迹进行文本识别，获得至少一个待选文本识别结果并展示。

第二方面，本申请实施例提供一种基于图像识别的手势信号输入系统，其包括信息采集模块，用于通过摄像装置及AI手部追踪技术，获取包含手势信息的图像；