[发明专利]一种用于带有步进天车娃娃机的随动方式手势控制方法及系统

权利要求书

1.一种用于带有步进天车娃娃机的随动方式手势控制方法，所述步进天车能够按照坐标位置进行移动，其特征在于：所述方法包括如下步骤：

步骤1、利用摄像头采集用户手势操作图像信息，通过CNN卷积神经网络模型对采集到的用户手势操作图像信息进行手势识别，从而得到手势坐标；

步骤2、将手势坐标转换成步进天车空间坐标，更新当前手势状态；

步骤3、与娃娃机系统进行通信，获取娃娃机状态以及通知娃娃机当前手势状态，从而完成娃娃机的控制操作；

所述步骤2具体为：

步骤2.1：判断手势类型是否有效，有效则进行步骤2.2，无效则执行步骤2.4；

步骤2.2：判断手势坐标是否落在图像操作区，图像4个边缘向内偏移一定距离后形成的矩形区域定义为图像操作区，如果落在图像操作区则执行步骤2.3，否则执行步骤2.4；

步骤2.3：将图像手势坐标转换成步进天车空间坐标：手势中心定义为图像手势坐标，计算手势中心横轴与纵轴所在图像操作区的相对位置，从而得到手势在图像操作区内的相对坐标，即步进天车空间坐标；

步骤2.4：更新当前手势状态；

步骤2.5：完成。

2.根据权利要求1所述的方法，其特征在于：所述有效的手势类型包括手掌张开、手掌闭合和握拳手势。

3.根据权利要求2所述的方法，其特征在于：所述步骤1具体为：

步骤1.1：单目摄像头采集图像；

步骤1.2：CNN卷积神经网络识别图像；

步骤1.3：识别结果是手掌张开，手势坐标有效，保存手势坐标并处理坐标防抖，进入步骤1.6；识别结果是手掌闭合，手势坐标有效，保存手势坐标并处理坐标防抖，进入步骤1.6；识别结果是握拳手势，则进入步骤1.4；

步骤1.4： 判断握拳手势有效性，依据当前握拳手势坐标是否在上次识别到的手掌内部，如果在内部则握拳手势有效进入到步骤1.6，否则握拳手势无效进入步骤1.5；

步骤1.5：未检测到手势，手势坐标无效；

步骤1.6：识别任务结束。

4.根据权利要求3所述的方法，其特征在于：所述坐标防抖采用距离判定法，与上一帧手势坐标进行比较，规定距离阈值，大于阈值更新手势坐标，小于阈值使用上一帧手势坐标。

5.根据权利要求1所述的方法，其特征在于：所述步骤3具体为：

步骤3.1：等待娃娃机请求连接；

步骤3.2：连接成功进行回执执行步骤3.3，连接失败执行步骤3.1；

步骤3.3：等待娃娃机请求游戏开始指令；

步骤3.4：收到娃娃机游戏开始指令执行步骤3.5，未收到娃娃机游戏开始指令执行步骤3.3；

步骤3.5：等待接收娃娃机指令，指令是手势状态请求执行步骤3.6，指令是游戏结束执行步骤3.7；

步骤3.6：将当前手势状态回复娃娃机；

步骤3.7：结束本次任务，并进行回执。

6.一种用于带有步进天车娃娃机的随动方式手势控制系统，所述步进天车能够按照坐标位置进行移动，其特征在于：所述系统包括手势识别模块、坐标转换模块和通信模块；

所述手势识别模块利用摄像头采集用户手势操作图像信息，通过CNN卷积神经网络模型对采集到的用户手势操作图像信息进行手势识别，从而得到手势坐标；

所述坐标转换模块用于将手势坐标转换成步进天车空间坐标，更新当前手势状态；

所述通信模块用于与娃娃机系统进行通信，获取娃娃机状态以及通知娃娃机当前手势状态，从而完成娃娃机的控制操作；

所述将手势坐标转换成步进天车空间坐标，更新当前手势状态，具体为：

步骤2.1：判断手势类型是否有效，有效则进行步骤2.2，无效则执行步骤2.4；

步骤2.2：判断手势坐标是否落在图像操作区，图像4个边缘向内偏移一定距离后形成的矩形区域定义为图像操作区，如果落在图像操作区则执行步骤2.3，否则执行步骤2.4；

步骤2.3：将图像手势坐标转换成步进天车空间坐标：手势中心定义为图像手势坐标，计算手势中心横轴与纵轴所在图像操作区的相对位置，从而得到手势在图像操作区内的相对坐标，即步进天车空间坐标；

步骤2.4：更新当前手势状态；

步骤2.5：完成。