[发明专利]一种肢体语言翻译系统及方法

权利要求书

1.一种肢体语言翻译系统，其特征在于，包括终端设备与云端分布式服务；终端设备通过网络与云端分布式服务连接；

其中，终端设备包括：阵列麦克风、摄像头、身体动作感知模块、声音输入模块；

云端分布式服务包括：肢体识别服务、肢体翻译服务、肢体合成服务、语音识别服务、语音合成以及机器翻译。

2.一种肢体语言翻译方法，其特征在于，包括：

身体动作感知模块通过摄像头检测人体身体动作信息，并形成肢体视频流传输到云端分布式服务；

云端分布式服务中的肢体识别服务通过滤波，降噪处理，视频流特征提取，通过视频解码所传过来视频流，然后识别成所表达意思文本，接着由肢体翻译服务形成原文本，原文本再通过机器翻译通过nlp二次语义处理后，翻译成目标语言；

生成所要的目标语言后，经过语音合成服务合成声音回传到终端设备播放声音。

3.根据权利要求2所述的方法，其特征在于，肢体识别服务通过深度神经网络训练动作模型，在有识别动作视频流过来通过视频流特征值提取，通过解码器解码动作语义，并通过语言模型进行校准，最终得到所表达文本，文本翻译成对应动作编码，并合成视频流动态播放身体动作视频。

4.一种肢体语言翻译方法，其特征在于，包括：

语音识别引擎通过阵列式麦克风进行语音降噪；

接着将语音数据流传输至云端分布式服务，云端分布式服务中的语音识别服务进行提取特征值，解码语音流为文本，配合语音模型最终识别出语音对应文本，肢体生成服务，把识别出的语音对应文本转化为动作编码再合成身体动作视频流；

最后，该身体动作视频流回传到终端设备中进行播放。