[发明专利]一种双目系统中基于GPU的实时绘制方法

权利要求书

1.一种双目系统中基于GPU（图形处理器）的实时绘制方法，其特征在于首先在双目系统的发送端绘制出空洞掩膜图像并提取大空洞的纹理信息HFI（空洞填充图像），然后在系统的接收端利用提取的HFI填充大空洞，并利用插值算法填充小空洞；为达到实时性的要求，采用GPU加速虚拟视点图像的绘制；首先利用CUDA（通用并行计算架构）技术将纹理图像中的像素投影到三维空间，然后应用Open GL（开源的图形程序接口）技术将三维空间中的像素投影到二维平面完成虚拟视点图像的绘制；其步骤是：

（1）发送端绘制出空洞掩膜图像并提取纹理信息：绘制出空洞掩膜图像，利用空洞掩膜图像找到大空洞横向的最大值，根据此最大值提取相应的空洞填充图像，即HFI；

（2）接收端空洞填充：利用发送端提取的纹理信息HFI填充大空洞，并利用插值算法填充小空洞；

（3）GPU加速绘制：利用CUDA技术将纹理图像中的像素逐一投影到三维空间，然后应用Open GL技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。

2.根据权利要求1所述的双目系统中基于GPU的实时绘制方法，其特征在于所述步骤(1)发送端绘制出空洞掩膜图像并提取纹理信息的具体步骤如下：

①利用深度图像和其对应的顶点索引进行三维图像变换，变换之后颜色缓冲区分别用0和255赋值，其中0表示空洞区域，255表示非空洞区域；根据Open GL的存储特点，图像的顶点索引、顶点的颜色数据和顶点的深度信息分别存储于顶点缓冲区、颜色缓冲区和深度缓冲区；而空洞掩膜是一幅起标记性作用的图像，它只记录空洞的位置，无需考虑所对应的颜色数据；

②利用空洞掩膜图像找到大空洞横向的最大值，根据此最大值提取相应的空洞填充图像HFI。

3.根据权利要求1所述的双目系统中基于GPU的实时绘制方法，其特征在于所述步骤(2)接收端空洞填充的具体步骤如下：

①空洞图像中大空洞利用发送端提取的HFI进行空洞填充，采用CUDA技术为每一行启动一个线程加速空洞的填充；

②空洞图像中小空洞利用水平插值算法进行空洞填充，其优点是它具有高度的并行性，易于CUDA实现，可以为每个像素启动给一个线程，大幅度减少了空洞填充的时间，插值式如下： 

                                                  (1)

其中是空洞位置的像素值，和分别是水平方向上空洞边界处左侧和右侧的像素值，是加权因子。

4.根据权利要求1所述的双目系统中基于GPU的实时绘制方法，其特征在于所述步骤(3)GPU加速绘制的具体步骤如下：

①应用CUDA技术为纹理图像中的每一个像素启动一个线程，每一个线程均利用下式(2)把像素投影到三维空间，

                                                             (2)

其中是三维世界坐标系中的深度值，是图像坐标系中某像素的坐标，是三维世界坐标系中某像素的坐标，矩阵和分别是3×3的相机内参矩阵和3×4的相机外参矩阵；

②应用Open GL技术对三维空间中的像素进行正投影变换、透视除法操作、视口变换、光栅化和基于片断的操作，最后带有空洞的虚拟视点图像存储在帧缓冲区中。