[发明专利]基于条形码的增强现实方法、系统及移动终端

权利要求书

1.一种基于条形码的增强现实方法，其特征在于，包括：

用摄像机捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值；

解析所述条形码，并根据解析出的条形码内容在图像数据库中搜索与当前场景图像中的目标图像匹配的样本图像及虚拟信息资源URI；

实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵；

根据所述单应性矩阵及虚拟信息资源URI，在摄像机捕获的当前场景图像中的目标图像位置上，渲染并输出显示所述与目标图像匹配的虚拟信息。

2.如权利要求1所述的方法，其特征在于，所述条形码包括一维条形码或二维条形码或彩色条形码。

3.如权利要求2所述的方法，其特征在于，所述对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵，包括：

对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到当前场景图像整幅图像的特征描述数据；

根据当前场景图像的特征描述数据及样本图像的特征描述数据，对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵。

4.如权利要求1至3中任一项所述的方法，其特征在于，当所述与目标图像匹配的虚拟信息资源为视频资源时，还包括：对所述视频资源进行音视频分离和解码，得到视频各帧图像序列和音频数据；

而所述根据所述单应性矩阵及虚拟信息资源URI，在摄像机捕获的当前场景图像中的目标图像位置上，渲染并输出显示所述与目标图像匹配的虚拟信息步骤，进一步包括：

根据所述单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型；

将所述视频各帧图像序列中的视频帧图像作为纹理逐帧映射到所述3D模型上，进行图形渲染；

将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步输出所述音频数据。

5.一种基于条形码的增强现实系统，其特征在于，包括摄像模块、图像特征提取模块、条形码解码模块、搜索模块、图像跟踪配准模块、图像渲染模块、虚实融合显示模块，其中：

摄像模块，用于捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值；

条形码解析模块，解析摄像模块捕获的条形码，得到摄像模块捕获图像中的目标图像的索引值；

搜索模块，根据条形码解析模块解析出的索引值，在图像数据库中进行搜索，将匹配成功的样本图像的特征描述数据传递给图像跟踪配准模块，同时将匹配成功的虚拟信息资源URI传递给图形渲染模块；

图像特征提取模块，对摄像模块捕获的当前场景图像进行特征点检测及提取，并生成特征点描述，得到当前场景图像的特征描述数据；

图像跟踪配准模块，根据搜索模块返回的样本图像的特征描述数据及图像特征提取模块产生的当前场景图像的特征描述数据，实时连续地对摄像模块捕获的当前场景图像和样本图像进行跟踪配准，得到单应性矩阵；

图形渲染模块，根据图像跟踪配准模块计算出的单应性矩阵及虚拟信息资源URI，在摄像模块捕获的当前场景图像中的目标图像位置上，渲染与目标图像匹配的虚拟信息；

虚实融合显示模块，将摄像模块捕获的当前场景图像与图形渲染模块渲染的虚拟信息融合输出显示。

6.如权利要求5所述的系统，其特征在于，所述系统还包括音视频分离及解码模块，当所述搜索模块搜索得到的与目标图像匹配的虚拟信息为视频资源时：

所述搜索模块将匹配成功的视频资源URI传递给音视频分离及解码模块；

所述音视频分离及解码模块，根据搜索模块得到的视频资源的URI，找到对应的视频文件，并对所述视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；并将所述视频各帧图像序列传递给图形渲染模块，将所述音频数据传递给虚实融合显示模块；

所述图形渲染模块，根据图像跟踪配准模块计算出的单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型，并将音视频分离及解码模块提取出来的视频各帧图像作为纹理逐帧映射到所述3D模型上，完成图形渲染；

所述虚实融合显示模块，将摄像机模块捕获的当前场景图像与图形渲染模块渲染的虚拟信息融合输出显示，并同步输出音频数据。