[发明专利]一种基于手势识别技术的3D虚拟交互方法及系统

权利要求书

1.一种基于手势识别的3D虚拟交互方法，其特征在于，所述方法包括以下步骤：

步骤一、图像采集模块分别采集左、右手图像；其中，右手图像包括右手左视图和右手右视图，图像采集模块包括拍摄左手图像的左摄像头，以及分别拍摄右手左视图和右手右视图的右摄像头1和右摄像头2；

步骤二、主处理器分别对左、右手图像进行分割，获取左、右手分割信息；

步骤三、主处理器利用左手分割信息获得虚拟场景视角变化信息，基于右手分割信息进行手势识别获得手势姿态信息，并分别计算右手图像的目标位置和采集位置偏差的实际转化值；其中，目标位置为右手图像中心位置，采集位置为分割后的手部区域中心位置。

步骤四、协处理器基于每个循环周期从主处理器发送的所述右手图像的目标位置和采集位置偏差的实际转化值，获取当前循环周期各步进电机的位置和步进值，其中，步进电机包括右摄像头1的左水平步进电机、左垂直步进电机，和右摄像头2的右水平步进电机、右垂直步进电机；并根据右摄像头1和右摄像头2的转角获取右手的空间坐标；

步骤五，主处理器根据所述右手的空间坐标值、右手的手势姿态信息以及虚拟场景视角变化信息，进行3D场景更新。

2.一种如权利要求1所述的3D虚拟交互方法，其特征在于步骤二包括以下步骤：

2.1主处理器根据图像中各个像素的模糊变量R/G、R/B、H、S、V，计算图像中各个像素的肤色隶属度μ，并根据像素的肤色隶属度μ将像素点分为肤色像素点和非肤色像素点；

2.2主处理器对每个像素点进行肤色校正，并对所有肤色像素点进行分组，从所有分组中过滤获取手部区域的分组，得到左、右手分割信息。

3.一种如权利要求2所述的3D虚拟交互方法，其特征在于步骤2.1中隶属度μ计算公式如下：

μ=(0.5×H+0.25×S+0.25×V)∩(0.5×R/G+0.5×R/B)   （1）

“∩”为两者求最小的运算符；当像素的肤色隶属度μ大于隶属度阈值Ｔ1时，该像素点即判断为肤色像素点，否则为非肤色像素点。

4.一种如权利要求2所述的3D虚拟交互方法，其特征在于步骤2.2包括：

2.2.1，根据相邻像素中肤色像素点和非肤色像素点的个数对当前像素点进行肤色校正：当当前像素点的相邻像素点中肤色像素点的个数大于阈值T2时，则当前像素点校正为肤色像素点；当当前像素点的相邻像素点中非肤色像素点的个数大于阈值T2时，则当前像素点校正为非肤色像素点；

2.2.2，将所有肤色像素点按照连通区域进行分组，各个连通区域的肤色像素点赋予不同的分组组号，过滤分组像素点数目小于阈值Ｔ3的分组，并获得过滤后的所有分组对应连通区域的两两之间的中心连线，根据中心连线非肤色像素点比例以及区域中心点位置确定手部区域的分组。

5.一种如权利要求1所述的3D虚拟交互方法，其特征在于步骤三所述利用左手分割信息获得虚拟场景视角变化信息具体为：

当得到的左手中心在左手图像中心预定区域内，则视角无变化；当左手中心在上下方向偏离左手图像中心预定距离以上时，则视角进行前后移动；当左手中心在左右方向偏离左手图像中心预定距离以上时，则视角进行左右旋转移动。

6.一种如权利要求1所述的3D虚拟交互方法，其特征在于步骤三所述基于右手分割信息进行手势识别获得手势姿态信息具体为：

从右手分割信息中获得包含右手手部区域的最小矩形的纵横比系数、所述最小矩形面积以及右手手部区域实际面积，并计算右手手部区域实际面积与所述最小矩形面积的面积比，当所述纵横比系数接近于1且面积比大于0.6，为握拳姿态，否则为手掌姿态；当为手掌姿态时，在所述最小矩形纵向边长的三分之二处和四分之三处分别画两条横线，判断两条横线上肤色点翻转次数之和，当翻转次数大于6时，为伸直平掌，否则为伸直侧掌。