[发明专利]以语义识别为主并辅之以其它方式的机器人人机交互方法

权利要求书

1.以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：该方法通过语义识别模块、敏感皮肤、触摸屏、体感交互模块和眼动追踪模块五个模块实现；

在本方法中，共提供5种人机交互方式，通过文字、语音、视觉、动作、敏感皮肤、环境多种方式进行人机交互，充分模拟人与人之间的交互方式，每种方式也被定义为一个模块，即语义识别模块、敏感皮肤模块、眼动追踪模块、体感模块、触摸屏的触屏模块；这五种方式都单独作为人机交互媒介或综合起来起作用。

2.根据权利要求1所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：在这五种交互方式中，以语义识别方式为主，这也是机器人默认的交互方式；当语义识别出现歧义导致机器人不能正确理解人类意图，机器人会引导人类进行其它方式的辅助交流，从而达到准确交流的目的；同时，在这过程中发生的其它方式，也会存储起来作为本过程的上下文，以便更好理解人类意图。

3.根据权利要求1或2所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：初次使用时，机器人会通过触屏模块、语义识别模块、体感交互模块和眼动追踪模块记忆主人有关生物学特征，这种记忆及识别过程是自然完成且非侵入式的，不会引起人类不适；一旦存储了主人的生物学特征，机器人绝对忠诚于主人，如果客人命令机器人做事，机器人会征求主人意见，主人同意才会配合；否则礼貌拒绝。

4.根据权利要求3所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：触屏模块、语义识别模块、体感交互模块和眼动追踪模块记忆人的体态、声纹、面部和虹膜信息。

5.根据权利要求1所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：语义识别模块分为三部分，即ASR模块、语义解析模块和服务/知识库模块，ASR模块连接语义识别引擎内的语义解析模块，语义解析模块连接同样在语义识别引擎内的服务/知识库模块，服务/知识库模块连接TTS；

ASR模块即拾音模块，用来把用户的声音转换成文本字符串；语义解析模块即算法程序，用来根据预先定义规则，运用高效解析算法对转换后的文本进行分析，从而剥离出用户意图，尽量消除歧义，以便引导机器人下一步动作；服务和知识库模块用来定义语义识别规则，这是一个数据字典。

6.根据权利要求1所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：体感交互模块包括两台摄像机和与两台摄像机连接的体感引擎；

用两台摄像机从不同位置采集使用者的身体部位运动信息，得到两幅针对同一环境同一时刻的不同视角照片；因为两台摄像机的各项参数以及它们之间相对位置的关系是已知的，所以能够根据相同物体在不同画面中的位置，通过算法计算出这个物体距离摄像头的深度，从而得到多角度三维成像。在连续获得相同点位的三维成像以后，就可以判断出该点位的运动趋势及轨迹；相同道理，就可以获得多点位的运动轨迹乃至身体运动轨迹。

判断出运动轨迹之后，通过体感匹配引擎，就可以引导机器人做出相应反馈。

7.根据权利要求6所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：用两台摄像机从不同位置采集使用者的左肩和右肩运动信息。

8.根据权利要求1所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：眼动追踪模块由三部分组成，即高清摄像机、红外照射光源模块和软件算法模块；

在捕捉眼动的过程中，使用红外光源对用户眼睛进行照射使其产生明显的反射，并使用高清摄像机采集带有这些反射效果的眼睛的图像。然后使用摄像机采集到的这些图像来识别光源在角膜(闪烁)和瞳孔上的反射；通过角膜与瞳孔反射之间的角度来计算出眼动的向量，然后将此向量的方向与其它反射的几何特征结合计算出视线的方向。

9.根据权利要求1所述的以语义识别为主并辅之以其它方式的机器人人机交互方法，其特征在于：触摸屏为平板电脑，触屏交互方式为：利用平板电脑，与机器人连接到同一WiFi路由器，通过专门开发的app，使平板电脑担负起人机交互媒介的作用，保证机器人能准确可靠地理解人类意图并有效反馈。