[发明专利]用于智能机器人的多模态交互方法及系统

说明书

本发明公开了一种用于智能机器人的多模态交互方法及系统。所述智能机器人装载有机器人操作系统，该方法包括：分句处理步骤，获取多模态数据，根据多模态数据生成待输出的语音交互数据，对所述语音交互数据对应的文本数据进行分句处理；情绪数据获取步骤，解析出各分句中包含的情绪信息，并生成下位机指令集；情绪表达步骤，将下位机指令集分发至对应模态的硬件执行部件，并控制各硬件执行部件基于分句结果执行多模态输出。本发明实施例能够使机器人对一句话中的多个情绪进行展现，使机器人更具备智能性和拟人性，满足用户需求，并且增强了智能机器人的多模态交互能力，改善了用户体验。

技术领域

本发明涉及智能机器人领域，尤其涉及一种用于智能机器人的多模态交互方法及系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。因此，提升智能机器人的交互能力，改善机器人的类人性和智能性，是现在亟需解决的重要问题。

发明内容

本发明所要解决的技术问题之一是需要提供一种能够在人机交互过程中基于应答语句进行多模态输出的解决方案。

为了解决上述技术问题，本申请的实施例首先提供了一种用于智能机器人的多模态交互方法，所述智能机器人装载有机器人操作系统，该方法包括：分句处理步骤，获取多模态数据，根据所述多模态数据生成待输出的语音交互数据，对所述语音交互数据对应的文本数据进行分句处理；情绪数据获取步骤，解析出各分句中包含的情绪信息，并生成下位机指令集，所述下位机指令集携带所述情绪信息；情绪表达步骤，将所述下位机指令集分发至对应模态的硬件执行部件，并控制各硬件执行部件基于分句结果执行多模态输出。

优选地，在所述情绪表达步骤中，按照所述文本数据中的分句顺序，依次执行对应的多模态输出，以展现每个分句对应的情绪表达。

优选地，在所述情绪表达步骤中，在如下任一情况下，结束情绪表达：在语音输出所述语音交互数据的过程中没有进行情绪表达，则不再展现情绪表达；若上一分句的情绪表现未完毕，则不执行新分句的情绪表达。

优选地，所述情绪信息包含基于所述语音交互数据对应的文本表征的情绪参量、语气参量和分句标识。

优选地，在所述情绪表达步骤中，控制各硬件执行部件同步执行针对同一个分句的动作、表情和/或音效的多模态输出，以展现该分句的情绪表达。

本申请的实施例还提供了一种用于智能机器人的多模态交互系统，所述智能机器人装载有机器人操作系统，该多模态交互系统包括：分句处理模块，其获取多模态数据，根据所述多模态数据生成待输出的语音交互数据，对所述语音交互数据对应的文本数据进行分句处理；情绪数据获取模块，其解析出各分句中包含的情绪信息，并生成下位机指令集，所述下位机指令集携带所述情绪信息；情绪表达模块，其将所述下位机指令集分发至对应模态的硬件执行部件，并控制各硬件执行部件基于分句结果执行多模态输出。

优选地，所述情绪表达模块，其进一步按照所述文本数据中的分句顺序，依次执行对应的多模态输出，以展现每个分句对应的情绪表达。

优选地，所述情绪表达模块，其进一步在如下任一情况下，结束情绪表达：在语音输出所述语音交互数据的过程中没有进行情绪表达，则不再展现情绪表达；若上一分句的情绪表现未完毕，则不执行新分句的情绪表达。

优选地，所述情绪信息包含基于所述语音交互数据对应的文本表征的情绪参量、语气参量和分句标识。

优选地，所述情绪表达模块，其进一步控制各硬件执行部件同步执行针对同一个分句的动作、表情和/或音效的多模态输出，以展现该分句的情绪表达。