[发明专利]具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人

说明书

本公开提供了一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人，包括获取单元，用于获取用户的语音强度值和时间长度值；组合单元，用于将该语音强度值和时间强度值进行组合得到特征值；动作单元，用于若该特征值小于预设阈值，生成手语动作数据；显示单元，用于在目标硬件设备的预设显示区域中显示虚拟机器人的形象，通过该虚拟机器人形象将该手语动作数据转换为手语输出。

技术领域

本发明涉及人工智能领域，特别涉及一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人。

背景技术

随着人工智能热潮的不断升级，虚拟机器人聊天交互系统也越来越多的在各个领域受到应用。现有技术中国机器人聊天交互系统的广泛应用与模仿人类对话。但目前的机器人聊天交互系统多使用语音进行交互，特别是在应答时，使用语音对用户的提问和操作进行反馈，这样的机器人系统没有充分考虑到听力障碍人士的需求，听力障碍人士在语音交互时，无法获得有效反馈信息的问题，目前还没有解决方案。

发明内容

本公开提供一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人，以解决听力障碍人士在语音交互时，无法获得有效反馈信息的问题。

本公开提供了一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人，包括获取单元，用于获取用户的语音强度值和时间长度值；组合单元，用于将该语音强度值和时间强度值进行组合得到特征值；动作单元，用于若该特征值小于预设阈值，生成手语动作数据；显示单元，用于在目标硬件设备的预设显示区域中显示虚拟机器人的形象，通过该虚拟机器人形象将该手语动作数据转换为手语输出。

进一步地，该动作单元还应用于，将语音应答数据进行语音切分后转换为手语动作数据。

进一步地，该动作单元还应用于，将该手语动作数据与嘴型应答数据融合进行输出。

进一步地，该动作单元还应用于，将该手语动作数据、嘴型应答数据、表情应答数据融合后进行输出。

进一步地，该虚拟机器人以如下方式的任一且不限于如下方式进行多模态交互：系统服务、平台功能、应用功能模块、应APP、主题、屏显。

进一步地，该显示单元，还用于，在该目标硬件没备的交互界面上输出该手语动作数据对应的文本信息。

进一步地，该机器人还包括：目标硬件设备，用于显示虚拟机器人形象，云端服务器，用于部署该动作单元。

本公开提供的一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人将语音反馈信息转换为手语动作信息在指定显示区域中显示，以解决听力障碍人士在语音交互时，无法获得有效反馈信息的问题。

附图说明

图1是本公开实施例的一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人逻辑结构示意图；

图2是本公开实施例的一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人系统架构图；

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本公开提供一种具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人，以解决听力障碍人士在语音交互时，无法获得有效反馈信息的问题。