[发明专利]手语翻译方法、基于MR的手语-语音交互方法及系统在审
| 申请号： | 201910869132.0 | 申请日： | 2019-09-16 |
| 公开（公告）号： | CN110728191A | 公开（公告）日： | 2020-01-24 |
| 发明（设计）人： | 闫国启;李骊 | 申请（专利权）人： | 北京华捷艾米科技有限公司 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G10L15/22;G10L15/26 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100193 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种手语翻译方法、基于MR的手语‑语音交互方法及系统，采集手语使用者手语的RGB‑D图像进行翻译，虚拟场景中手语使用者的虚拟人物模型将手语释义朗读为音频，语音使用者的虚拟人物模型将语音释义对应的手语动作进行演示。本发明对手语动作实现实时翻译，并可使用该翻译方法与语音使用者进行交互，可应用在多种场景，尤其在医患交流场景中，能够实现医患使用自己熟悉的语言方式进行无障碍交流，提高了诊疗效率，增强了双方的体验，MR技术展现手语翻译之后的医患交流场景，达到聋哑患者医患交流的完美效果。且利用深度学习技术训练模型可使得手语翻译系统更加精确。 | ||
| 搜索关键词： | 手语 手语翻译 虚拟人物 语音 场景 释义 手语翻译系统 无障碍交流 翻译 技术训练 实时翻译 虚拟场景 语言方式 语音交互 交流 聋哑 朗读 诊疗 图像 演示 采集 应用 学习 | ||
【主权项】：
1.一种手语翻译方法，其特征在于，包括如下步骤：/n(1)获取手语动作的RGB-D图像；/n(2)提取出RGB-D图像中的手势特征信息，所述手势特征信息为手部各关节点在各时刻的特征旋转矩阵；/n(3)将手势特征信息与预设的手势特征翻译模型进行匹配；/n(4)将手势特征翻译模型匹配的手语释义按照时间序列组合作为翻译结果。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京华捷艾米科技有限公司，未经北京华捷艾米科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910869132.0/，转载请声明来源钻瓜专利网。
