[发明专利]基于条形码的增强现实方法、系统及移动终端

说明书

技术领域

本发明涉及移动增强现实领域，尤其涉及一种基于条形码的增强现实方法、系统及移动终端。

背景技术

近年来，条形码技术(包括一维条形码、二维条形码等)得到了广泛应用，同时增强现实(AR，Augumented Reality)技术也在一些应用中开始出现，增强现实是在真实环境呈现的场景中，借助与计算机图形技术和可视化技术，将虚拟信息实时“无缝”与之融合，利用虚拟信息对真实场景进行补充、增强，能可给予用户完全区别于传统PC平台的全新的感知体验和交互模式。

现有条形码技术和增效现实技术一般都是单独使用的，单独使用条形码只能得到条形码对应的网址，使用起来不够炫；而单独使用现有增强现实技术，系统的响应时间长，海量数据应用可行性低。

当然也有少数公开方案将条形码与增强现实技术结合，如中国发明专利CN200910224378.9(公布号：CN102087743A)中公开了一种条形码扩充实境系统与方法，其技术方案中，条形码扩充实境方法主要是根据取得的条形码标志的空间信息，将虚拟信息堆栈到实境影像或另一背景图像中(参见权利要求16及说明书[0038]、[0041]段)，该方法虚拟信息的堆栈位置，主要取决于条形码标志的影像信息，如果在虚拟信息堆栈过程中，将该条形码部分或全部遮挡，该方法将无法找到虚拟信息堆栈位置，造成堆栈位置偏差，影响用户体验。

发明内容

本发明的目的是提供一种基于条形码的增强现实方法、系统及移动终端，用完全不同于上述专利公开的技术，将人们开始广泛使用的二维码与增强现实技术相结合，既解决了单独使用条形码不够炫，又能解决单独使用现有增强现实技术响应时间长的问题，能给予用户完全区别于传统拍照应用的全新感知体验和交互模式。

为了实现上述发明目的，本发明提供了一种基于条形码的增强现实方法，包括：

用摄像机捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值；

解析所述条形码，并根据解析出的条形码内容在图像数据库中搜索与当前场景图像中的目标图像匹配的样本图像及虚拟信息资源URI；

实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵；

根据所述单应性矩阵及虚拟信息资源URI，在摄像机捕获的当前场景图像中的目标图像位置上，渲染并输出显示所述与目标图像匹配的虚拟信息。

优选的，所述条形码为一维条形码或二维条形码或彩色条形码。

优选的，所述对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵，包括：对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到当前场景图像整幅图像的特征描述数据；根据当前场景图像的特征描述数据及样本图像的特征描述数据，对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵。

优选的，当所述与目标图像匹配的虚拟信息资源为视频资源时，还包括：对所述视频资源进行音视频分离和解码，得到视频各帧图像序列和音频数据；

而所述根据所述单应性矩阵及虚拟信息资源URI，在摄像机捕获的当前场景图像中的目标图像位置上，渲染并输出显示所述与目标图像匹配的虚拟信息步骤，进一步包括：

根据所述单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型；

将所述视频各帧图像序列中的视频帧图像作为纹理逐帧映射到所述3D模型上，进行图形渲染；

将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步输出所述音频数据。

相应的，本发明还提供了一种基于条形码的增强现实系统，包括摄像模块、图像特征提取模块、条形码解码模块、搜索模块、图像跟踪配准模块、图像渲染模块、虚实融合显示模块，其中：

摄像模块，用于捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值，所述条形码可以为一维条形码，也可以为二维条形码、彩色条形码及其衍生的编解码，还可以为自定义编解码方式编出的条码图案；

条形码解析模块，解析摄像模块捕获的条形码，得到摄像模块捕获图像中的目标图像的索引值；

搜索模块，根据条形码解析模块解析出的索引值，在图像数据库中进行搜索，将匹配成功的样本图像的特征描述数据传递给图像跟踪配准模块，同时将匹配成功的虚拟信息资源URI传递给图形渲染模块；