[发明专利]一种基于手势识别技术的3D虚拟交互方法及系统

说明书

技术领域

本发明属于虚拟现实中的人机交互技术领域，涉及图像识别技术、多目视觉立体定位技术、语音合成技术、电机控制技术、传感器技术、串行通信技术及3D建模技术，特别涉及一种基于手势识别技术的人与计算机3D虚拟交互的方法及系统。

背景技术

随着我国云计算与物联网的大力发展及嵌入式系统的广泛应用，虚拟现实技术在工业、建筑设计、教育培训、医疗、文化娱乐等方面将得到广泛应用。人机交互技术是沟通真实人与虚拟世界的桥梁。在从人逐渐适应计算机到计算机不断适应人的互动过程中，人机交互技术也不再局限于鼠标键盘输入、手柄操作，而是以更加新奇的方式出现，如声波振动、手势动作、眼珠和舌头的转动等，这些都可以用来传递信息，并完成人与计算机之间的“对话”。

基于手势识别的人机交互技术是目前虚拟现实领域的研究热点之一。利用手的位置、姿势和运动来与计算机进行交互，是一种自然高效的交互方式。然而对手部区域的图像分割，基于视觉的手势识别技术是利用摄像机采集手势信息并进行识别，该方法的优点是输入设备比较便宜，人机交互更加生动、直观和真实。

发明内容

本发明旨在至少解决上述技术缺陷之一，提出一种基于手势识别的3D虚拟交互方法，所述方法包括以下步骤：

步骤一、图像采集模块分别采集左、右手图像；其中，右手图像包括右手左视图和右手右视图，图像采集模块包括拍摄左手图像的左摄像头，以及分别拍摄右手左视图和右手右视图的右摄像头1和右摄像头2；

步骤二、主处理器分别对左、右手图像进行分割，获取左、右手分割信息；

步骤三、主处理器利用左手分割信息获得虚拟场景视角变化信息，基于右手分割信息进行手势识别获得手势姿态信息，并分别计算右手图像的目标位置和采集位置偏差的实际转化值；其中，目标位置为右手图像中心位置，采集位置为分割后的手部区域中心位置。

步骤四、协处理器基于每个循环周期从主处理器发送的所述右手图像的目标位置和采集位置偏差的实际转化值，获取当前循环周期各步进电机的位置和步进值，其中，步进电机包括右摄像头1的左水平步进电机、左垂直步进电机，和右摄像头2的右水平步进电机、右垂直步进电机；并根据右摄像头1和右摄像头2的转角获取右手的空间坐标；

步骤五，主处理器根据所述右手的空间坐标值、右手的手势姿态信息以及虚拟场景视角变化信息，进行3D场景更新。

优选地，步骤二包括以下步骤：

2.1主处理器根据图像中各个像素的模糊变量R/G、R/B、H、S、V，计算图像中各个像素的肤色隶属度μ，并根据像素的肤色隶属度μ将像素点分为肤色像素点和非肤色像素点；

2.2主处理器对每个像素点进行肤色校正，并对所有肤色像素点进行分组，从所有分组中过滤获取手部区域的分组，得到左、右手分割信息。

优选地，步骤2.1中隶属度μ计算公式如下：

μ=(0.5×H+0.25×S+0.25×V)∩(0.5×R/G+0.5×R/B)   （1）

“∩”为两者求最小的运算符；当像素的肤色隶属度μ大于隶属度阈值Ｔ1时，该像素点即判断为肤色像素点，否则为非肤色像素点。

优选地，步骤2.2包括：

2.2.1，根据相邻像素中肤色像素点和非肤色像素点的个数对当前像素点进行肤色校正：当当前像素点的相邻像素点中肤色像素点的个数大于阈值T2时，则当前像素点校正为肤色像素点；当当前像素点的相邻像素点中非肤色像素点的个数大于阈值T2时，则当前像素点校正为非肤色像素点；

2.2.2，将所有肤色像素点按照连通区域进行分组，各个连通区域的肤色像素点赋予不同的分组组号，过滤分组像素点数目小于阈值Ｔ3的分组，并获得过滤后的所有分组对应连通区域的两两之间的中心连线，根据中心连线非肤色像素点比例以及区域中心点位置确定手部区域的分组。

优选地，步骤三所述利用左手分割信息获得虚拟场景视角变化信息具体为：

当得到的左手中心在左手图像中心预定区域内，则视角无变化；当左手中心在上下方向偏离左手图像中心预定距离以上时，则视角进行前后移动；当左手中心在左右方向偏离左手图像中心预定距离以上时，则视角进行左右旋转移动。

优选地，步骤三所述基于右手分割信息进行手势识别获得手势姿态信息具体为：