[发明专利]基于透明屏幕的手持式增强现实显示方法及装置

说明书

本发明公开了一种基于透明屏幕的手持式增强现实显示方法及装置，所述方法是通过后置视觉传感器、后置深度传感器实时采集透明屏幕后方的目标物体的图像信息、深度数据和前置视觉传感器、前置深度传感器实时采集透明屏幕前方的用户眼球的图像信息、深度数据，经过计算得到用户眼球与目标物体在透明屏幕上的交点并实时显示的过程，通过实时跟踪用户的眼球位置的方法，通过透明屏幕为同时用户展示真实场景和增强现实画面。所述装置包括信息采集模块、信息处理模块和信息显示模块，具备便于携带、现实场景与虚拟信息同步显示等优点。该装置用途广泛，可用于建筑土建施工、室内装饰展示、设备检修、智能驾驶、地质勘探等领域，具有广泛的市场前景。

技术领域

本发明涉及增强现实显示技术领域，具体地指一种基于透明屏幕的手持式增强现实显示方法及装置。

背景技术

随着电子技术、光学技术、计算机图形技术、模式识别等技术的迅速发展，越来越多新兴技术被应用于手持移动智能装置上，为人们获取信息、进行人机交互提供了更加丰富的手段和方法。作为目前流行的人机交互及信息展示技术，增强现实(AugmentedReality，简称AR)技术逐渐被业界所重视并开始使用。增强现实技术是一种实时地将虚拟信息叠加到现实场景的影像上并一起展示的技术，该技术通过图像图形处理技术，将真实世界信息和虚拟世界信息集中整合起来展示给用户，使得用户在观看实景画面的同时获得额外虚拟信息。

目前具备增强现实功能的装置主要有两种类型：头戴方式和手持方式。头戴方式类型通过头盔或眼镜样式的装置将增强现实影像展示给用户；手持式方式采用带有显示屏幕的手持式智能装置来展示增强现实影像。目前这两种实现方式均有缺陷，头戴式增强现实装置必须戴在用户头上或置于眼前，若用户原本就佩戴眼镜则造成不便，而且局限于现在的电池技术，大容量电池可能对用户增加额外的重量负担，若采用外接电源的方式供电，则过多线缆不便于携带移动；传统的手持式增强现实装置屏幕显示增强现实影像画面和用户眼前的现实场景画面并不完全重叠，这一般是由于视觉传感器镜头畸变、焦距、视角、响应延迟等造成，这会造成用户对屏幕后真实场景的感知产生偏差，在有些场合可能会使得用户造成一些错觉而造成不便。

发明内容

针对现有技术的不足之处，本发明提出了一种基于透明屏幕的增强现实显示方法及装置，将增强现实技术、眼球定位技术和透明屏幕相结合，直观地让用户同时查看到透明屏幕后实际场景影像中的物体和透明屏幕上的对应该物体的虚拟信息画面。当该装置的姿态位置和用户眼球的位置发生改变时，透明屏幕上的虚拟画面会实时自动调整，并跟实际场景相对应。

为实现上述目的，本发明所设计的一种基于透明屏幕的手持式增强现实显示方法，其特殊之处在于，包括如下步骤：

所述方法是通过后置视觉传感器、后置深度传感器实时采集透明屏幕后方的目标物体的图像信息、深度数据，同时通过前置视觉传感器、前置深度传感器实时采集透明屏幕前方的用户眼球的图像信息、深度数据，经过计算得到用户眼球与目标物体在透明屏幕上的交点并实时显示的过程，具体包括如下步骤：

1)分别实时采集目标物体和用户眼球的图像信息、深度信息；

2)分别计算目标物体在后置视觉传感器的摄像机坐标系三维坐标和用户眼球在前置视觉传感器的摄像机坐标系三维坐标；

3)分别计算目标物体三维和用户眼球在屏幕中心的世界坐标系中的三维坐标；

4)计算目标物体与用户眼球连线在屏幕上的交点的三维坐标；

5)计算目标物体与用户眼球连线在屏幕上的交点的屏幕坐标。

优选地，所述步骤1)中采集目标物体的图像信息、深度信息的方法为采集屏幕后方的数字图像和深度信息，利用模式识别算法分割和识别场景内的目标物体，获得目标物体的图像位置数据，得到物体的图像坐标为(m_u,m_v)，深度数据为m_d。