[发明专利]增强现实实现方法、装置和终端设备

说明书

技术领域

本发明涉及信息处理技术领域，尤其涉及一种增强现实实现方法、装置和终端设备。

背景技术

增强现实(AR，Augmented Reality)是利用虚拟拍摄对象对真实场景进行现实增强的技术。增强现实保留用户实际所处的环境作为用户的主要感知和交互环境，通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏上所显示的用户实际所处环境中的物体上，从而实现对用户所处的环境的注释、说明，或者增强现实环境的效果。如图1所示，用户开启移动终端摄像头并将该摄像头对准现实环境，此时，用户移动终端屏幕会显示当前现实场景中的存在物(如建筑物、街道等)，移动终端将拍摄的图像序列发送至网络侧服务器，网络侧服务器根据获取的图像进行匹配，若匹配到这些存在物的增强性、说明性或描述性信息，比如建筑物的名称、建筑物中的商家信息等等，将其返回给移动终端，这样，移动终端屏幕上不仅显示有当前现实场景中的存在物，还会显示这些存在物的说明性、描述性或增强性的信息，这使得用户能够方便、快捷地知道现实场景存在物更多更丰富的信息，为用户带来新的增强现实的应用体验。

从上述过程可知，对用户所处环境的准确定位是AR应用的关键技术之一，只有准确定位用户所处环境，才能在网络侧服务器匹配到准确的AR信息。但是现有的移动定位技术，包括从定位方法进行分类的GPS定位技术、Wifi定位技术和基站定位技术以及从地图类型进行分类的栅格地图定位技术、三维地图定位技术和街景地图定位技术等，均无法满足AR中精准定位的需求。

为了提高定位技术的准确性，现有技术提出了以下解决方案：

一、基于图像识别的技术

通过图像识别方将用户所拍摄到的场景图像与地图数据库中预存的场景图像进行匹配，来读取地图数据库中预存的准确位置信息，同时在拍摄的场景图像上实时展示AR信息。但是该方法中，在展示AR信息时，只能针对识别出的图像进行展示，对于未识别的图像则无法查找对应的AR信息并展示。

二、通过移动设备自带的传感器如陀螺仪和加速度传感器确定方向，使用传统定位方法确定用户所处的位置，并载入对应的正确方位街景图像进行展示，展示的街景图像上有AR信息。但是这种方法中，由于看到的是固定的街景图像，因此不具有实时性。

三、通过移动设备自带的传感器如陀螺仪和加速度传感器确定方向，用传统定位方法确定用户所处的位置，直接在拍摄的图像上展示AR信息。这种方法中，由于传感器存在误差积累，所以对于拍摄一段时间或者有剧烈运动时确定出的用户所处的位置并不准确，导致展示出的AR信息也不准确。同时，这种方法适合较远处的物体，进出物体位置变化会更大，且放置的AR信息浮在物体上，使得AR信息展示不够真实。

综上，如何在用户拍摄的图像上实时并真实准确的展示对应的AR信息成为增强现实实现过程中亟待解决的技术问题之一。

发明内容

本发明实施例提供一种增强现实实现方法、装置和终端设备，用以在用户拍摄的图像上实时展示对应的AR信息，并提高AR信息展示的准确性和真实性。

本发明实施例提供一种增强现实信息展示方法，包括：

获取拍摄对象的图像序列；

从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；并

确定拍摄时间最晚的关键帧图像为当前关键帧图像；

根据所述当前关键帧图像或者选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；

获得待展示的增强现实AR信息；

根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在当前帧图像上的展示方位；

根据所述展示方位，在所述当前帧图像上展示所述AR信息。

本发明实施例提供一种增强现实信息展示装置，包括：

获取单元，用于获取拍摄对象的图像序列；

选择单元，用于从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；

第一确定单元，用于确定拍摄时间最晚的关键帧图像为当前关键帧图像；

第二确定单元，用于根据所述第一确定单元确定出的当前关键帧图像或者所述选择单元选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；

获得单元，用于获得待展示的增强现实AR信息；