[发明专利]一种实现增强现实的方法及设备

说明书

本发明公开了一种实现增强现实的方法及设备，实时采集包含人脸图像的环境场景图像；通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找对应的虚拟信息；利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合；通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。

技术领域

本发明涉及增强现实技术领域，尤其涉及一种实现增强现实的方法及设备。

背景技术

增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。

现有的AR-Glass设备通过SLAM算法根据输入端(灰度摄像头、彩色摄像头、深度摄像头、传感器设备等器件中的一种或多种)数据得到场景3D信息(三维重建)和设备在场景中的姿态(位置和旋转数据)，并通过videosee-through或者optical see-through的方式呈现真实场景。同时根据SLAM算法得到的场景3D信息和设备在场景中的姿态在真实场景中融合显示虚拟信息(文字、图片、视频、三维模型、独立的三维场景等)。但是，在显示虚拟信息时通常是通过预设其在真实场景中的姿态或者让用户手动控制虚拟信息移动到想要显示的位置，这种方式操作复杂而且虚实融合会存在较大偏差的问题。

发明内容

本发明提供一种实现增强现实的方法及设备，能够自动控制虚拟信息移动到想要显示的位置，简化操作且能够有效降低虚实融合存在的偏差。

本申请实施例提供了一种实现增强现实的方法，包括：

实时采集包含人脸图像的环境场景图像；

通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；

利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；

通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；

利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；

根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。

可选的，所述利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态，具体包括：

利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；

根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。

可选的，所述根据人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中，具体包括：

根据人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。