[发明专利]一种三目视觉手语识别装置及多信息融合手语识别方法

权利要求书

1.一种三目视觉手语识别装置,其特征在于，包括：视觉平台、左摄像装置、右摄像装置、单目调节支架、单目摄像装置、图像处理设备；

所述视觉平台水平放置，其上对称安装左摄像装置、右摄像装置，左摄像装置和右摄像装置镜头中心连线的垂直平分线上设置单目调节支架；所述单目调节支架包括支撑杆、丝杠、丝杠安装座、轴承、手摇柄、升降螺母；所述支撑杆垂直视觉平台安装，其前面设置沿支撑杆长度方向的升降限位槽，侧面设置高度标尺；所述丝杠平行安装在支撑杆前面，其上下两端可转动地安装在丝杠安装座上，丝杠安装座内安装轴承，丝杠上端设置手摇柄；所述升降螺母安装在丝杠上，其后侧面设置升降卡位部，升降卡位部可上下滑动地卡在升降限位槽内，升降螺母前侧面设置转动连接部，转动连接部上安装可水平左右转动的水平转动件，水平转动件前端水平安装单目摄像装置；所述升降卡位部上设置高度指针，高度指针指向高度标尺；所述升降螺母底面伸出量角器，量角器与视觉平台平行，单目摄像装置上设置角度指针，角度指针指向量角器上的刻度线；所述高度指针与单目摄像装置镜头中心在同一高度上，指示单目摄像装置镜头中心高度；所述角度指针与单目摄像装置镜头中心轴线平行，指示单目摄像装置水平转角；所述单目摄像装置镜头中心轴线与左摄像装置和右摄像装置所在竖直面垂直；所述左摄像装置、右摄像装置、单目摄像装置共同建立一个虚拟三维坐标系，其中单目摄像装置镜头中心轴线所在直线为X轴，垂直于视觉平台、且经过左摄像装置和右摄像装置镜头中心连线中点的直线为Z轴，垂直于XZ平面、与X轴、Y轴相交的直线为Y轴，X轴、Y轴、Z轴交点为坐标原点（X₀，Y₀，Z₀）；

所述左摄像装置、右摄像装置、单目摄像装置连接图像处理设备，其中，左摄像装置、右摄像装置组成双目立体视觉系统；

所述图像处理设备至少包括图像采集单元、三维建模单元、手势模型库、人脸表情库、人手与人体相对位置库、组合手语库、手势验证单元、人脸表情验证单元、人手位置验证单元、组合手语验证单元、手语转换单元、手语输出单元；

所述手势模型库中存储手势模型，手势模型为左摄像装置、右摄像装置、单目摄像装置预先采集录入的手势模型信息，包含指关节坐标和向量数据；

人脸表情库中存储人脸表情图片；人手与人体相对位置库中存储人手与人体相对位置图片；组合手语库中存储组合手语，每个组合手语由一个手势模型、一张人脸表情图片、一张人手与人体相对位置图片共同定义。

2.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述图像处理设备为PC机。

3.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述手语转换单元将组合手语转换为文字，并发送至手语输出单元输出；手语输出单元为文字显示器。

4.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述手语转换单元将组合手语转换为语音，并发送至手语输出单元输出；手语输出单元为语音播放器。

5.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述三维建模单元采用Opencv计算机视觉库，根据左摄像装置、右摄像装置从下向上获取的人手到左摄像装置、右摄像装置的深度距离信息，单目摄像装置从侧面获取的人手到单目摄像装置的深度距离信息，进行手势模型建立。

6.一种利用权利要求1所述的三目视觉手语识别装置的多信息融合手语识别方法，其特征在于，包括如下步骤：

（1）初始位置校准：通过单目调节支架调节单目摄像装置的高度和角度，使其满足建立虚拟三维坐标系要求；

（2）通过左摄像装置、右摄像装置、单目摄像装置预先录入手势模型，建立手势模型库：在虚拟三维坐标系中做出手势并保持，左摄像装置、右摄像装置、单目摄像装置持续采集10-15分钟；左摄像装置、右摄像装置组成双目立体视觉系统，从下向上获取人手到左摄像装置、右摄像装置的深度距离信息；单目摄像装置从侧面获取人手到单目摄像装置的深度距离信息；使用java语言将数据录入mysql数据库中，完成一个手势模型录入；录入的手势模型信息包含指关节在虚拟三维坐标系中的坐标和向量数据；

（3）将人脸表情图片存入人脸表情库中，将人手与人体相对位置图片存入人手与人体相对位置库中；组合手语库中存储组合手语，每个组合手语由一个手势模型、一张人脸表情图片、一张人手与人体相对位置图片共同定义；

（4）聋哑人正对单目摄像装置，将手伸入虚拟三维坐标系中进行手语表达；

（5）左摄像装置、右摄像装置组成双目立体视觉系统，从下向上获取人手到左摄像装置、右摄像装置的深度距离信息；单目摄像装置从侧面获取人手到单目摄像装置的深度距离信息，作为双目立体视觉系统盲区的数据补足；此外，单目摄像装置还采集人手与人体相对位置图片和人脸面部表情图片；

（6）图像采集单元接收同一时刻左摄像装置、右摄像装置、单目摄像装置获取的信息，并分别发送至三维建模单元、人脸表情验证单元、人手位置验证单元；

三维建模单元根据三个摄像装置获取的深度距离信息建立手势模型，并将建好的手势模型发送至手势验证单元；手势验证单元调取手势模型库中预先存储的手势模型与建好的手势模型进行指关节坐标和向量数据匹配，确认匹配度最高的手势模型，并将其发送至组合手语验证单元；

人脸表情验证单元调取人脸表情库中存储的人脸表情图片与单目摄像装置采集的人脸面部表情图片进行特征匹配，确认匹配度最高的人脸表情图片，并将其发送至组合手语验证单元；

人手位置验证单元调取人手与人体相对位置库中存储的人手与人体相对位置图片与单目摄像装置采集的人手与人体相对位置图片进行特征匹配，确认匹配度最高的人手与人体相对位置图片，将其发送至组合手语验证单元；

组合手语验证单元调取组合手语库中存储的组合手语进行比对，确认组合手语，发送至手语转换单元进行转换，手语转换单元将转换后的组合手语发送至手语输出单元输出。