[发明专利]一种用于3D对象建模的设备和方法

说明书

技术领域

本发明涉及三维(3D)对象建模技术，具体说来，涉及一种能够基于预定义的3D对象模板自动进行3D对象建模的有效设备和方法。

背景技术

在三维(3D)计算机图形领域中，3D对象建模是指产生任意三维对象的算术表示的处理，该处理产生的结果称为3D对象模型。

3D对象建模在数字娱乐等领域具有广泛的应用，例如，在虚拟现实、增强现实、3D电影、3D游戏、人机交互等技术中均需要进行3D对象建模。目前的多数3D对象建模还需要通过相关专业人员进行手动操作来实现，这种方式不仅耗费时间，而且需要大量的人为参与。

另一方面，在关于自动3D对象建模的现有技术中，如果输入图像的数量有限，则无法针对3D建模的对象给出足够的形状约束。例如，在第10927241号美国专利“Method and apparatus for image-based photorealistic 3D face modeling”中，对于脸颊部分几乎无法提供形状方面的约束，而基本上由形状模板来确定。

另外，单纯的二维图像/视频数据无法针对不受控照明环境或纹理较少的对象区域给出良好的形状信息。为了解决这一问题，很多现有技术利用统计模型来提高建模质量。然而，统计模型的获取需要花费大量的时间和成本，并且针对每种不同的对象类型均需要提供相应的统计模型，因此，统计模型由于缺少便利性而在应用上受到限制。

在利用深度图像进行3D对象建模的情况下，由于深度图像自身比较稀疏，所以需要对深度图像的数据进行超分辨率处理以提高建模质量。然而，现有的超分辨率处理(例如，第11444947号美国专利“Method and system to increase X-Y resolution in a depth camera using RGB”)均仅采用局部内插处理，这往往导致生成的形状不够圆滑且与实际的对象存在误差。

在自动3D对象建模技术中，经常会针对基于图像/视频/深度图像进行的建模应用非线性优化处理。然而，所述非线性优化处理却有其自身的缺陷，即，不具有较好的鲁棒性且需要非常好的初始值才能够实现较好的性能。此外，优化处理通常需要进行迭代运算，所以速度非常缓慢。

因此，需要提供一种能够基于预定义的3D对象模板自动进行3D对象建模的有效设备和方法。

发明内容

本发明的目的在于提供一种能够基于预定义的3D对象模板自动进行3D对象建模的有效设备和方法，根据所述3D对象建模设备和方法，能够基于多视角图像和深度图像对预定义的模板进行变形，并生成相应的纹理，从而有效地进行3D对象建模。

根据本发明的一方面，提供一种用于3D对象建模的设备，所述设备包括：图像接收单元，用于接收拍摄的彩色图像和深度图像，其中，彩色图像包括正向彩色图像和至少两幅其它视角的侧向彩色图像，深度图像为正向深度图像；3D模板提供单元，用于提供针对特定种类的对象而预定义的3D对象模板，其中，所述3D对象模板具有形状特征和纹理特征；对象建模单元，用于基于由图像接收单元接收的彩色图像和深度图像对由3D模板提供单元提供的3D对象模板进行变形处理，并对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D对象模型。

所述对象建模单元可包括：特征提取模块，用于从彩色图像提取用于确定对象形状的特征信息；前景分离模块，用于通过产生前景掩膜图像从正向彩色图像和正向深度图像分离出感兴趣的前景图像；超分辨率处理模块，用于执行超分辨率处理以产生对应于正向彩色图像的密集深度图；变形处理模块，用于基于由特征提取模块提取的特征信息以及由超分辨率处理模块产生的密集深度图对由3D模板提供单元提供的3D对象模板进行变形处理；纹理生成模块，用于对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D对象模型。

前景分离模块对正向深度图像进行前景分割以得到前景掩膜，然后，利用已知的标定参数，将与前景掩膜相应的深度像素投影到正向彩色图像平面，以在正向彩色图像上形成稀疏的2D点集合，对所述稀疏的2D点之间的间隙进行填充，以在正向彩色图像上形成相应的前景图像。

前景分离模块利用抠像技术对得到的前景图像的边界进行细化。

超分辨率处理模块将深度图像中的像素投影到正向彩色图像平面，以获取正向彩色图像像素中具有深度值的种子点，基于获取的种子点和正向彩色图像来执行局部插值运算，从而产生对应于正向彩色图像的密集深度图，对所述密集深度图进行量化，并对量化的密集深度图执行全局优化，以提高其平滑性。