[发明专利]以语义识别为主并辅之以其它方式的机器人人机交互方法

说明书

以语义识别为主并辅之以其它方式的机器人人机交互方法，以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：该方法通过语义识别模块、敏感皮肤、触摸屏、体感交互模块和眼动追踪模块等五个模块实现；本发明融合语义识别、敏感皮肤、体感交互、眼动追踪、触屏等多种交互方式，扬长避短，力图彻底解决机器人人机交互的难题。

技术领域

本发明涉及一种以语义识别为主并辅之以其它方式的人机交互系统及交互方法。

背景技术

传统机器人人机交流方式：

传统机器人人机交流方式包括键盘、鼠标/触控盘等方式，触屏、语义识别、体感等新型人机交流方式是在2007年以后逐步出现的，并迅速得以被广泛应用；机器人可以通过分析使用者的语音，手势，身体语言等方式，理解人类意图并做出相应反馈。

人机交互是人工智能很重要的一个分支，在丰富、发展人机交互技术的过程中，我们逐渐意识到，任何单一的人机交流模式都有不足，因此综合多种交流手段越来越成为未来人机交流的趋势。

1.随着科技的进步，人工智能的快速发展，传统人机交互方式中的键盘、鼠标、触屏等方式因其操作繁琐、速度慢越来越不适合快速发展的人机交互需求；

2.而从2007年以后兴起的新技术，例如语义识别、手势等交互方式还存在容易受到现场环境影响，例如噪音、光照和背景的影响而产生歧义，导致效率低下，影响使用者满意度；体感交互因为不合理的摄像机视角以及程序处理影响等，对于比较精细的动作可能无法准确捕捉；

3.另一方面，这些次传统技术在人机交流的时候也会对环境产生影响，而且私密性较差；比如大声交流时的声音对别人的影响，以及公共场合下的体感交流使用的局限性。

4.另外一个缺点就是无法达到无障碍使用，身体残障的人可能无法通过声音或手势、体感等方式同机器人进行交流。

发明内容

发明目的：

本发明提供一种以语义识别为主并辅之以其它方式的机器人人机交互方法，其目的是解决以往所存在的问题。

技术方案：

以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：该方法通过语义识别模块、敏感皮肤、触摸屏、体感交互模块和眼动追踪模块等五个模块实现；

在本方法中，共提供5种人机交互方式，通过文字、语音、视觉、动作、敏感皮肤、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式，每种方式也被定义为一个模块，即语义识别模块、敏感皮肤模块、眼动追踪模块、体感模块、触摸屏的触屏模块；这五种方式都可以单独作为人机交互媒介，也可以综合起来起作用；这一交互方式更符合机器人类产品的形态特点和用户期待。

在这五种交互方式中，以语义识别方式为主，这也是机器人默认的交互方式；当语义识别出现歧义导致机器人不能正确理解人类意图，机器人会引导人类进行其它方式的辅助交流，从而达到准确交流的目的；同时，在这过程中发生的其它方式，也会存储起来作为本过程的上下文，以便更好理解人类意图。

初次使用时，机器人会通过触屏模块、语义识别模块、体感交互模块和眼动追踪模块记忆主人有关生物学特征，比如体态、声纹、面部、虹膜等，这种记忆及识别过程是自然完成且非侵入式的，不会引起人类不适；一旦存储了主人的生物学特征，机器人绝对忠诚于主人，如果客人命令机器人做事，机器人会征求主人意见，主人同意才会配合；否则礼貌拒绝。

触屏模块、语义识别模块、体感交互模块和眼动追踪模块记忆人的体态、声纹、面部和虹膜信息。

语义识别模块分为三部分，即ASR模块、语义解析模块和服务/知识库模块，ASR模块连接语义识别引擎内的语义解析模块，语义解析模块连接同样在语义识别引擎内的服务/知识库模块，服务/知识库模块连接TTS；