[发明专利]一种基于体感技术的手语翻译系统及处理方法

说明书

技术领域

本发明涉及手语翻译技术领域，尤其是一种基于体感技术的手语翻译系统及处理方法。

背景技术

中国有超过2000万人失聪或存在听力障碍，而放眼到全球，这一数字则扩大到大约3.6亿人，近些年来研究人员花费了大量时间攻克手语识别领域所存在的挑战，他们曾研究过诸如数据手套或特殊摄像头这样的输入传感器潜在的发展空间，虽然前者在识别方面表现很好，但因为难以穿戴和过于昂贵很难投入广泛使用。而网络摄像头或立体摄像头虽然能够保证追踪手部运动的精度和速度，却很难处理好复杂背景和光照。

发明内容

本发明提供一种基于体感技术的手语翻译系统及处理方法，能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上,帮助聋人和非聋人进行交流。

本发明解决上述技术问题的技术方案如下：一种基于体感技术的手语翻译系统，包括体感设备、声音输入设备、手语翻译设备、显示设备和声音输出设备；

所述体感设备，用于检测人体手势信息，并将人体手势信息转换成3D数据的格式后发送至手语翻译设备；

所述声音输入设备，用于接收待翻译语音，并将待翻译语音转换成语音数据的格式后发送至手语翻译设备；

所述手语翻译设备，用于识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令；当发送来的是语音数据的格式类型时，将该语音数据转译成对应的手语手势动画，并发出第二执行指令；

所述显示设备，用于根据第一执行指令从所述手语翻译设备上读取已翻译的文字后进行显示，还用于根据第二执行指令从所述手语翻译设备上读取已转换的手语手势动画后进行显示；

所述声音输出设备，用于根据第一执行指令从所述手语翻译设备上读取已转译的语音后进行播放。

本发明的有益效果是：能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上,帮助聋人和非聋人进行交流；体感设备采用深度景象CMOS传感器，能在复杂的背景和光照条件下准确的识别手势动作,且该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，降低了设计方案的成本。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述体感设备包括红外光发射器和深度景象CMOS传感器，

所述红外光发射器，用于向目标人体发射红外结构光；

所述深度景象CMOS传感器采用CMOS感光芯片，用于检测从目标人体反射回来的红外结构光，并将红外结构光转换成3D数据的格式后发送至手语翻译设备。

红外光发射器发射红外结构光与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，红外光发射器的这种光源叫做激光散斑(laser speckle)，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点，这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。深度景象CMOS传感器对反射回来的红外结构光进行标定检测，每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来；假设人体手势是距离体感设备1米到4米的范围，每隔5cm取一个参考平面，那么标定下来我们就已经保存了60幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的60幅参考图像依次做互相关运算，这样我们会得到60幅相关度图像，而人体手势存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到手势的三维形状了，从而将红外结构光转换成3D数据。

采用上述进一步方案的有益效果是：不同于传统的ToF或者结构光测量技术，利用三维纵深的“体编码”的方法进行标记，就得到该物体在空间内的三维形状了，也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。

进一步，所述手语翻译设备包括格式识别器、手语手势3D数据库、语音和文字数据库以及手语手势动画数据库，

所述格式识别器，用于根据数据格式的不同识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将3D数据发送至所述手语手势3D数据库处理，当发送来的是语音数据的格式类型时，将语音数据发送至所述语音和文字数据库处理；