[发明专利]基于云计算的MR混合现实景区的云导览方法

说明书

本发明揭示了一种基于云计算的MR混合现实景区的云导览方法，首先在现有MR眼镜导览系统基础上构建包含基于云计算的第二服务器的云导览系统，由第一服务器与MR眼镜交互实时场景图像并定位用户当前所处位置及朝向、判别包含演出包含与否并向第二服务器传输演出加载指令；由第二服务器根据加载指令，利用云计算方法对选定的演出进行处理，并网络传输至较低配置的用户客户端播放演出，向用户展示所在景点介绍的画面及声音。应用本发明的云导览方法，通过将景区的导览服务和演出资源处理转嫁于云服务器，降低了MR导览设备的硬件成本，可以适配较低性能要求的计算单元；并且简化了设备加载软件的规模，有利于设备输出性能的提升。

技术领域

本发明涉及一种优化的导游方法，尤其涉及一种基于云计算的MR混合现实场景的景区自动导游方法。

背景技术

随着物质文明和精神文明建设的不断发展，越来越多的文化旅游主题被广泛提出并向广大用户推广。而且人们在日常忙碌的工作和生活后，需要利用假期安排旅游，放松心情的同时增长见识、为自己充电。在整个旅游过程中，无论是游山玩水还是参观各种展览馆，大都离不开导游对景点的介绍，从而避免游客抓瞎或遗漏重要景点的文化特色。

随着MR、AR技术的日渐成熟和在导游设备方面的应用占比增大，对用户在游览过程中的定位和景点介绍呈现也提供了越来越多的技术解决方案。现有一种基于点云地图的MR景区导览已应运而生和推广应用，它是依据与MR设备匹配的计算单元（包括集成的微处理器或用户的智能手机等）提供运算和存储能力，通过在计算单元上安装已开发完成的apk应用程序（由Unity 3D开发所得），使用MR眼镜在真实环境下移动，并通过MR眼镜的双目摄像头获取到当前真实环境图像，上传景区服务器以获得当前用户的实时位置及朝向，并实时触发用户该位置下的MR演出；用户即可体验到3D虚拟与现实融合的景点介绍。其中作为外置式计算单元的智能手机的处理器通常要求高通855以上的性能，但这种外置需要通过数据线与MR眼镜相连，以实现数据信号的直连传输以及保障供能。作为显示装置的MR眼镜为光学成像装置，其可播放的内容包括：3D模型和特效资源、视频资源、音频资源、图片等。

然而，由于需要让用户体验虚拟与现实的融合度更高，更高质量、内容更丰富的视觉、听觉演出，因此对于MR设备的图形处理能力与计算存储能力要求较高。因此目前在实际使用时，对于三角面数较高的3D模型和3D粒子特效数量及其它视频等演出资源较大的内容，由于要求设备的图形处理及渲染能力较高，对于微型处理器的能耗负荷将成倍提升，会存在设备使用短时间内发烫、卡顿，严重的甚至会造成闪退、死机的问题，造成用户的使用体验较差。如果需要使用整套MR设备，且需要配备的性能较高，成本也将同步升高。通常情况下，对于一个景区的硬件配置动辄涉及数百台MR设备，显著增大景区的运维负担。

同时，由于在特定景点下的演出内容较多，资源较大，导致应用程序的数据包体过大，因此目前主要都以单景点为一个应用包的形式对外发布，否则包体加载时长过长。若想体验多景点的MR导览，则需要加载多个导览应用包，用户使用的便捷性较差。

发明内容

鉴于上述现有技术的不足，本发明的目的旨在提出一种基于云计算的MR混合现实景区的云导览方法，解决景区导游成本高昂及游客体感差的问题。

本发明实现上述目的的技术解决方案是：基于云计算的MR混合现实景区的云导览方法，其特征在于包括：构建云导览系统，包括基于云计算参与图像运算和数据处理的第二服务器，识别用户定位、朝向并查询判定包含演出与否的第一服务器，以及实时摄取用户朝向图像、上传第一服务器并接收来自于第二服务器的图像数据向用户展示演出内容的MR眼镜；

用户定位，由第一服务器接收来自于用户MR眼镜的实时场景图像，并基于预更新的点云地图匹配识别用户当前所处位置及朝向，根据景区各点位与演出的预设关联判断用户定位结果是否包含演出；

云导览联动，由第二服务器接收来自于第一服务器的演出加载指令，利用云计算方法对选定的演出的音视频流进行编码处理，并通过互联网通信协议将处理后的音视频流同步至与用户直接关联的客户端；