[发明专利]一种基于图像识别的扩增实境实现方法

说明书

技术领域

本发明涉及计算器视觉领域，具体涉及一种基于图像识别的扩增实境实现方法。

背景技术

扩增实境技术即AR，全称为Augmented Reality，其将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让用户透过所捕捉的影像与虚拟世界的信息进行互动。

现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(Virtual Reality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。

扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给用户强烈鲜明的视觉效果。在实时图像搜索时，为了避免用户将庞大的图像数据库下载到本地，一般利用云端对图像进行存储，通过上传目标图像进行识别。随着扩增实境被大范围应用，用户需要更大的图片库来进行标志物的识别。在扩增实境中，利用现有的方式对标志物进行识别即存在以下问题：在无线网络较差的情况下，用户实时上传图像的速度会受到很大影响。

发明内容

本发明为了解决上述技术问题提供一种基于图像识别的扩增实境实现方法。

本发明通过下述技术方案实现：

一种基于图像识别的扩增实境实现方法，包括以下步骤，

1)、初始化扩增实境系统；

2)、获取真实场景图像；

3)、检测并匹配目标标志物，提取目标标志物的ORB特征点，并对每一个ORB特征点生成相应的描述子以生成用于上传到云端图像数据库的该目标标志物的ORB描述子序列，接收云端图像数据库识别后返回的图像编号；获取目标标志物的初始位姿矩阵；

4)、渲染3D引擎动画特效；

5)、开启追踪执行线程，确定目标标志物新的位姿矩阵；

6)、根据新的位姿矩阵更新扩增实境动画特效；

7)、重复4)至6)直至目标标志物在屏幕中消失、重新获取真实场景图像或扩增实境系统停止运作。

本发明的扩增实境实现方案在现有技术的基础上做了改进，即在图像识别时，对ORB特征点的提取获得图像的ORB描述子序列，通过上传ORB描述子序列实现对图像的识别，相比于现有直接上传图片进行识别的方式，其上传的数据量小，对网络的要求低。

在追踪执行线程时采用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法，有效的解决现有图像追踪方法在图像位移量较大时追踪计算量增大、实时性下降甚至丢失的情况。

所述模板匹配的方法为：扩增实境系统根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，譬如在该点周围15*15像素方形范围内，判断模板是否匹配的分数由模板所有像素值的归一化互相关系数决定。当匹配分数超过阈值时即为匹配。

采用矢量运动模型预测的方法为：当读入的影像大于两帧，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵的位置范围内搜索模板。

采用卡尔曼滤波算法的方法为：对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。

所述云端图像数据库得生成方法包括：

描述子生成步骤：收集图像，提取每张图像的ORB特征点，并对每个ORB特征点生成相应的描述子以得到描述子样本；

树状模型生成步骤：根据描述子样本生成图像数据库的树状模型；

数据库生成步骤：向树状模型中添加图像，建立树状结构的图像数据库。

所述描述子生成步骤具体为：收集图像，分别对每张图像进行缩放以建立一个图像金字塔，对图像的各个尺度使用ORB算法提取所有ORB特征点，并对每一个ORB特征点生成相应的描述子。