[发明专利]一种用于3D对象建模的设备和方法

权利要求书

1.一种用于3D对象建模的设备，所述设备包括：

图像接收单元，用于接收拍摄的彩色图像和深度图像，其中，彩色图像包括正向彩色图像和至少两幅其它视角的侧向彩色图像，深度图像为正向深度图像；

3D模板提供单元，用于提供针对特定种类的对象而预定义的3D对象模板，其中，所述3D对象模板具有形状特征和纹理特征；

对象建模单元，用于基于由图像接收单元接收的彩色图像和深度图像对由3D模板提供单元提供的3D对象模板进行变形处理，并对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D对象模型。

2.如权利要求1所述的设备，其中，所述对象建模单元包括：

特征提取模块，用于从彩色图像提取用于确定对象形状的特征信息；

前景分离模块，用于通过产生前景掩膜图像从正向彩色图像和正向深度图像分离出感兴趣的前景图像；

超分辨率处理模块，用于执行超分辨率处理以产生对应于正向彩色图像的密集深度图；

变形处理模块，用于基于由特征提取模块提取的特征信息以及由超分辨率处理模块产生的密集深度图对由3D模板提供单元提供的3D对象模板进行变形处理；

纹理生成模块，用于对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D对象模型。

3.如权利要求2所述的设备，其中，前景分离模块对正向深度图像进行前景分割以得到前景掩膜，然后，利用已知的标定参数，将与前景掩膜相应的深度像素投影到正向彩色图像平面，以在正向彩色图像上形成稀疏的2D点集合，对所述稀疏的2D点之间的间隙进行填充，以在正向彩色图像上形成相应的前景图像。

4.如权利要求3所述的设备，其中，超分辨率处理模块将深度图像中的像素投影到正向彩色图像平面，以获取正向彩色图像像素中具有深度值的种子点，基于获取的种子点和正向彩色图像来执行局部插值运算，从而产生对应于正向彩色图像的密集深度图，对所述密集深度图进行量化，并对量化的密集深度图执行全局优化，以提高其平滑性。

5.如权利要求4所述的设备，其中，在超分辨率处理模块执行局部插值运算时，其利用下列等式来确定正向彩色图像中的待插值像素的深度值：

dp=Σq∈N(p)Wpq×dq/Σq∈N(p)Wpq]]>

W_pq＝exp(-(1-α(ΔΩ))×color_diff-spatial_diff)，其中，

α(ΔΩ)＝1/(1+e^{-ε×(ΔΩ-τ)})

在上述等式中，p表示正向彩色图像中的任一待插值像素，N(p)表示像素p的邻域，q表示邻域N(p)中的任一种子点，d_p表示像素p的深度值，d_q表示种子点q的深度值，W_pq表示种子点q相对于像素p的深度权重，ΔΩ表示邻域N(p)中最大深度值与最小深度值之间的差，color_diff和spatial_diff分别表示从种子点q到待插值像素p的彩色近似性和空间邻近度，ε和τ分别是通过实验而确定的正常数。