[发明专利]一种三目视觉手语识别装置及多信息融合手语识别方法

说明书

本发明公开了一种三目视觉手语识别装置及多信息融合手语识别方法，涉及手语的智能翻译技术领域；解决双目设备的视觉盲区缺陷，以及独立的手势识别方案无法准确地获取聋哑人手语所要传达的信息的问题；本发明在双目设备的垂直平面增加一个单目摄像装置，采集视觉盲区中的信息，作为双目设备视觉盲区的数据补足；提出由手语表达者表情、正在进行手语交流时手在人身体的相对位置以及手语手势识别共同定义一组手语手势，这样组合定义手语的方式增加了可识别手势的数量，扩大了手语库的丰富性；同时，多种组合要素细化了每个手语，提高了每个手语的特异性，避免相似、相近手势造成手语判断错误，提高了手语识别的准确度。

技术领域

本发明涉及手语的智能翻译技术领域，具体涉及一种三目视觉手语识别装置及多信息融合手语识别方法。

背景技术

据国家数据统计，在中国，聋哑人在残疾、肢残、智残等五大残疾中人数最多，约为2057万，也就是说，每100个人中，就有一个聋哑人，其中大约有80万人不到7岁。另据最新资料显示，我国每年有0.02%的聋哑人出生，算上听力受损的新生儿，我国约有1%的人存在听力障碍。在生活中，聋哑人这一群体与外界存在沟通障碍，存在这种障碍的他们从一出生就几乎决定了他们的未来，他们能生活的圈子，他们交流、生活的环境，都只能局限在聋哑人的世界里。例如，他们在无人陪同的情况下去医院看病，由于语言表达存在障碍，又没有手语翻译，向医生阐述病情的时候存在着种种局限；去银行等服务窗口时，无法与营业员进行交流。手语作为一种高度结构化的手势，是聋哑人进行日常交流必不可少的手段。手语识别作为人机交互领域中的一个重要组成部分，它的研究和实现具有重要的学术价值和广泛的应用前景。

立体视觉是计算机视觉的一个重要分支，双目立体视觉是其中的一种，它利用成像设备从不同的位置获取被测物体的两幅或多幅图像，利用三角测量原理，通过计算图像对应点间的位置偏差，以获取物体表面点的三维信息，最终重构物体形状或表面数字三维形貌。但是，传统双目设备有视觉盲区的局限性，如图1所示，当识别平面与双目摄像头平面垂直时，由于物体各个部位的相互遮挡，造成盲区部分无法准确识别，其次独立的手势识别方案无法准确地获取聋哑人手语所要传达的信息，以上问题降低了聋哑人手语识别的准确度。

发明内容

本发明的目的在于提供一种三目视觉手语识别装置及多信息融合手语识别方法，解决双目设备的视觉盲区缺陷，以及独立的手势识别方案无法准确地获取聋哑人手语所要传达的信息的问题；为解决双目设备的视觉盲区缺陷，本发明在双目设备的垂直平面增加一个单目摄像装置，采集视觉盲区中的信息，作为双目设备视觉盲区的数据补足；针对现存的独立手势识别方案无法准确地获取聋哑人手语所要传达的信息，提出由手语表达者表情、正在进行手语交流时手在人身体的相对位置以及手语手势识别共同定义一组手语手势，这样组合定义手语的方式增加了可识别手势的数量，扩大了手语库的丰富性；同时，多种组合要素细化了每个手语，提高了每个手语的特异性，避免相似、相近手势造成手语判断错误，提高了手语识别的准确度。

本发明采用的技术方案如下：一种三目视觉手语识别装置,其特征在于，包括：视觉平台、左摄像装置、右摄像装置、单目调节支架、单目摄像装置、图像处理设备；