[发明专利]一种基于图像识别的手势信号输入方法及系统

权利要求书

1.一种基于图像识别的手势信号输入方法，其特征在于，包括：

通过摄像装置及AI手部追踪技术，获取包含手势信息的图像；

对包含手势信息的图像进行图像分割，从而进行手势特征提取和识别，并将识别结果给予手势标注对应的特征码；

通过手势标注对应的特征码进行文本输入，其中，文本输入包括对应的特征码匹配到的文本识别，获得对应的文本内容。

2.如权利要求1所述的一种基于图像识别的手势信号输入方法，其特征在于，所述通过摄像装置及AI手部追踪技术，获取包含手势信息的图像包括：

在获取包含手势信息的图像之前，检测交互场景中是否出现光标，若出现则确认用户需要输入内容，同时确认用户当下想对光标进行输入。

3.如权利要求2所述的一种基于图像识别的手势信号输入方法，其特征在于，还包括：

判断是否存在手势运动轨迹，且当前时刻与手势运动轨迹生成时的时间间隔大于预设时间间隔，若是，则对手势运动轨迹则确认用户需要输入内容。

4.如权利要求1所述的一种基于图像识别的手势信号输入方法，其特征在于，所述对包含手势信息的图像进行图像分割，从而进行手势特征提取和识别，并将识别结果给予手势标注对应的特征码包括：

对包含手势信息的图像进行图像分割得到深度图像，将深度图像输入至预设的手势识别模型中，获得手势识别结果，并将识别结果给予手势标注对应的特征码。

5.如权利要求4所述的一种基于图像识别的手势信号输入方法，其特征在于，还包括：

手势识别网络采用3D残差网络，基于手势特征建立手势识别网络形成手势识别模型，手势识别网络分别训练不进行权值共享，通过前向传播计算损失值，通过反向传播算法减少损失值，最终使损失值收敛，完成手势识别模型的训练。

6.如权利要求1所述的一种基于图像识别的手势信号输入方法，其特征在于，所述通过手势标注对应的特征码进行文本输入，其中，文本输入包括对应的特征码匹配到的文本识别，获得对应的文本内容包括：

判断图像中的手势是否保持动作并将手在水平方向平移，若是，则根据碰撞点进行字符切换，手势移动时选择在字符中切换，当用户选中目标字符后，再次判断手势是否分离，若分离，则确定并输入对应字符。

7.如权利要求6所述的一种基于图像识别的手势信号输入方法，其特征在于，还包括：

获取用户的结束手势图像，基于结束手势图像对一个或多个手势运动轨迹进行文本识别，获得至少一个待选文本识别结果并展示。

8.一种基于图像识别的手势信号输入系统，其特征在于，包括：

信息采集模块，用于通过摄像装置及AI手部追踪技术，获取包含手势信息的图像；

图像识别提取模块，用于对包含手势信息的图像进行图像分割，从而进行手势特征提取和识别，并将识别结果给予手势标注对应的特征码；

文本识别模块，用于通过手势标注对应的特征码进行文本输入，其中，文本输入包括对应的特征码匹配到的文本识别，获得对应的文本内容。

9.如权利要求8所述的一种基于图像识别的手势信号输入系统，其特征在于，包括：

用于存储计算机指令的至少一个存储器；

与所述存储器通讯的至少一个处理器，其中当所述至少一个处理器执行所述计算机指令时，所述至少一个处理器使所述系统执行：信息采集模块、图像识别提取模块及文本识别模块。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。