[发明专利]一种针对聋人自然手语的双向实时翻译系统及方法

摘要

本发明属于机器学习领域，涉及一种针对聋人自然手语的双向实时翻译系统及方法。针对聋人自然手语的双向实时翻译系统，包括人体上肢动作采集装置、交互终端和移动设备；交互终端包括语音听写功能模块和自然手语识别功能模块；可以将聋人自然手语翻译成听人能理解的文字和语音，也能将听人的语言翻译成聋人能理解的文字。通过人体上肢动作采集装置提取聋人自然手语动作的数据，并利用机器学习的方法对其识别，将识别结果显示到移动设备的屏幕上，识别结果随着聋人不断地打手语而进行更新，聋人自主选择修改。本发明可应用于银行、医院、商场、公安局、宾馆等多种场景，使聋人与听人之间能进行无障碍地交流，将有助于改善聋人的生活条件和工作条件。

主权项

1.一种针对聋人自然手语的双向实时翻译系统，其特征在于，包括包括人体上肢动作采集装置、交互终端和移动设备；交互终端包括语音听写功能模块和自然手语识别功能模块；语音听写功能模块，用于通过移动设备的声音接收装置采集听人讲话时的语音信息，并对语音信息进行识别听写，转化成聋人能看懂的文字通过移动设备的显示器显示；自然手语识别功能模块，通过人体上肢动作采集装置提取聋人自然手语动作的数据，并利用机器学习的方法对其识别，将识别结果显示到移动设备的屏幕上，识别结果随着聋人不断地打手语而进行更新；针对识别结果句的关键词列出下拉菜单，列出与其相近的5‑7个词，当聋人对识别结果不满意时做进一步选择、修改，并通过移动设备的声音输出装置播放最终确定的结果句，实现聋人自然手语到听人能理解的声音的翻译。