[发明专利]基于博物馆导览AR眼镜的人机交互方法

说明书

本发明公开了一种基于博物馆导览AR眼镜的人机交互方法，属于增强现实技术领域，包括以下步骤：S1、穿戴识别单元识别穿戴信号，控制主机开机；S2、视频采集单元采集眼部视线范围内的场景图像；S3、语音识别单元识别语音信号，对控制模式进行选择，控制模式包括眼动控制模式、手势控制模式和语音控制模式；S4、视觉追踪单元获取眼部活动信息，并转换为对应控制信号进行交互；S5、手势识别单元获取用户手部动作，并转换为对应控制信号进行交互；S6、语音识别单元识别语音信号，并转换为对应控制信号进行交互，游客可根据需要选择通过眼动、手势或语音来与AR眼镜进行互动，让游客获得与AR眼镜实时、逼真的互动体验。

技术领域

本发明属于增强现实技术领域，具体涉及一种基于博物馆导览AR眼镜的人机交互方法。

背景技术

导览或讲解一直都是博物馆深度体验的关键，因为静态的展品往往不能向普通的参观者传达出足够的信息，而大段的文字解释又显得枯燥无味，因此产生了很多博物馆导览方法。如依靠说明牌、电子语音讲解器、团队人员讲解、二维码扫描导览及智能语音导览等方式。

这些传统的导览形式在独具优势的同时也存在着不同程度的弊端，无法满足观众深入了解的要求。说明牌只能简明扼要地介绍展品的信息，而且主要以图文介绍为主，难易调动观众的积极性。电子语音讲解器只能收听事先录制好的语音内容，内容存在一定的局限性，不能满足观众多方面的内容需求，特别是有时还会存在精度不高的问题。专业讲解员讲解内容会受到周围环境的影响，以致观众听不清楚讲解的内容，逐渐失去了继续参观的积极性。语音导览系统信号源分布会出现重叠或缺失，因而造成讲解内容与展陈实物不符的情况；二维码扫描导览其互动性和体验感较差，不能让用户较好地融入到空间环境中。因此，大多数参观者在参观时游览的质量不够高。

发明内容

本发明所要解决的技术问题是：提供一种基于博物馆导览AR眼镜的人机交互方法，让游客在参观展品的同时，能够选择合适的方式，通过增强现实技术获得与AR眼镜实时、逼真的互动体验。

为解决上述技术问题，本发明的技术方案是：

基于博物馆导览AR眼镜的人机交互方法，所述AR眼镜包括主机及与所述主机电连接的穿戴识别单元、视频采集单元、视觉追踪单元、手势识别单元、语音识别单元、语音输出单元、显示输出单元以及定位单元；

所述人机交互方法，包括以下步骤：

S1、通过所述穿戴识别单元识别穿戴信号，控制主机开机；

S2、所述视频采集单元采集眼部视线范围内的场景图像；

S3、通过语音识别单元识别语音信号，对控制模式进行选择，所述控制模式包括眼动控制模式、手势控制模式和语音控制模式，若为所述眼动控制模式，进入S4，若为所述手势控制模式，进入S5，若为所述语音控制模式，进入S6；

S4、所述视觉追踪单元获取眼部活动信息，并转换为对应控制信号与所述AR眼镜进行交互；

S5、所述手势识别单元获取用户手部动作，并转换为对应控制信号与所述AR眼镜进行交互；

S6、所述语音识别单元识别语音信号，并转换为对应控制信号与所述AR眼镜进行交互。

进一步的，所述S4、S5和S6中与所述AR眼镜的交互为展品讲解，具体包括：

S7a、选择视线范围内需要进行介绍的展品；

S7b、所述视频采集单元将所述展品的图片与所述主机内存储的数据相匹配，获取相应展品的文字和图片的介绍信息；

S7c、所述显示输出单元生成文字和图片形式的虚拟信息，投影在展品旁边，所述语音输出单元输出语音介绍。

进一步的，所述S4、S5和S6中与所述AR眼镜的交互为参观导航，具体包括：