[发明专利]一种三维虚拟展示装置与方法

说明书

技术领域

本发明涉及基于图像渲染(Image-BasedRendering，IBR)的虚拟建模和人机交互技术领域，尤其涉及一种三维虚拟展示装置与方法。

背景技术

IBR(基于图像的渲染)是场景渲染的主要手段之一。IBR技术利用图片来代替几何模型，这种技术达到了更短的建模时间，更快的渲染速度，而且更加真实。IBR利用一组场景照片来生成场景的新视图，能反映为丰富的纹理细节和色彩，有效地克服了计算机图形学存在的建模复杂度高和渲染真实感不足的缺陷。IBR的渲染速度取决于图像的分辨率，有效地克服了计算机图形学渲染速度随场景复杂度增加而下降的缺陷。IBR技术为实时绘制极为复杂的真实场景提供了可能。IBR技术在三维虚拟展示领域的应用也非常广泛，例如基于同心拼图的场景漫游、基于光场的虚拟物体展示等。

在图像渲染的过程中，用户只需要对物体或者场景拍摄一定数量的照片，然后进行图像拼接或者图像合成来构造一个场景的整体拼接图像。比如手机拍照程序中内置的全景图应用。但是这种应用的缺陷在于很难得到一个沉浸式环境。如果照片拍摄的质量过低，在拼接或者合成的过程中还会发生严重的失真。为了改进这些问题，沈向洋博士研发的同心拼图技术利用拍摄的二维图像渲染得到任意视角的场景图。但是该技术需要相对特殊的设备，而且摄像机被限制在一定的范围内运动拍摄照片。为渲染更真实的场景，需要拍摄数量巨大的照片。

因此，本领域的技术人员致力于开发一种新的图像拼接算法，以解决现有技术存在的问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种三维虚拟展示装置与方法，旨在利用手持相机拍摄视频以生成不同视点下的物体图像，模拟三维视觉效果。该方法无需建立物体三维模型的复杂过程，并且可以生成更为真实的与拍摄图像质量可以等同的物体三维视图效果，具有设计简便、易于操作、利于网上传输、应用广泛广等优点。

为实现上述目的，本发明提供了一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：

步骤101、视图扭曲，根据两个视点的图像，虚拟构建出两视点之间的直线路径上的任意视点的图片；

步骤102、视图插值；

步骤103、视频防抖，基于保持图像内容的图像扭曲算法的视频防抖技术，对视频帧基于SfM算法得到场景的三维结构和摄像机运动轨迹，对路径做光滑处理得到稳定后的视频帧；再对视频每一帧做色差分析得到用户关注区域，扭曲每一帧图片，得到保持用户关注内容基本形状的每一帧图片；然后对图片做边界处理得到最终视频；

步骤104、同心拼图，摄像机固定在一个水平转动杆上，绕中心运动拍摄周边环境图片；然后从每一帧图片中选取“带状”图片，将所有带状图片拼接得到最终的场景全景图。

进一步地，所述步骤101具体为：

第一步，根据两幅图片I₀和I₁之间的特征点对应关系，求得一个基础矩阵F，再求其转置矩阵F^T，再求出关于z轴旋转-φ₀的旋转矩阵旋转φ₁的旋转矩阵最后分别得到两图片的变换矩阵和根据这两个矩阵和将两幅图片I₀和I₁扭曲到和

第二步，假设摄像机光心为C，有第一步求出的矩阵H，则根据Π＝[H|-HC]，扭曲后的图像上点的坐标和原图上的点的坐标为p＝ΠP，将Cs处的图像构建出来；

第三步，根据第二步得到的Π_s得到H_s，将H_s作用到得到I_s。

进一步地，所述步骤103具体为：

首先，利用voodoocamreatracker软件得到每帧图片的摄像机参数和每帧图片的特征点云，构建出摄像机三维空间中的轨迹和三维点云；

其次，将摄像机轨迹拟合成一个圆，达到初步光滑摄像机轨迹的作用；

再次，对视频的每一帧做保持内容的扭曲。

进一步地，所述对视频的每一帧做保持内容的扭曲的扭曲算法分为两步：

第一步把图片分为64*36的网格，用双线性插值算法找到每一个特征点所对应的网格的四个角点的坐标；

第二步再将图片的每个网格分为两个三角形，最小化所有输入点和输出点的之间的偏差和，并求得每个三角形的三个角点在该三角形内的局部坐标(u,v)，以及网格内每个三角形的每个角点与输出角点之间的误差函数Es,误差函数Es乘以α作为第二步在整个优化过程中的权重。