[发明专利]一种动物毛发三维重建方法

说明书

本发明提供了一种动物毛发三维重建方法，包括：输入包含完整动物毛发的单张彩色图像；使用Mask R‑CNN得到动物毛发区域的分割结果；输入前述的单张彩色图像和分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；输入抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；训练变分自编码器，其中编码器能够得到隐空间编码z；输入前述得到的二维方向场，通过神经网络学习人类毛发二维方向场到隐空间变量z的映射，输出动物毛发二维方向场对应的动物毛发三维重建结果。本发明仅需要单张彩色图像就能够直接重建动物毛发的三维模型，效率高，且包含毛发的几何信息，能够产生逼真的仿真效果。

技术领域

本发明属于计算机图像处理技术领域，涉及计算机视觉、计算机图形学、深度学习、迁移学习技术，具体涉及一种根据单张图像信息进行动物毛发三维重建的方法。

背景技术

动物毛发重建是将动物数字化的重要步骤之一，对动物数字化有利于对其进行研究与分析，并促进多学科的交叉发展，同时在影视制作与游戏制作中，也大量需要高精度的动物三维模型。同时，动物毛发是动物组成中必不可少的一部分，对动物毛发进行三维重建，具有重要的意义。

到目前为止，动物毛发三维重建的研究成果并不多，概括起来可以分为两类：1)由艺术家使用专业软件进行手工设计；2)根据几何或者物理属性构建动物毛发三维模型。上述方法在重建动物毛发时，需要对单个毛发模型进行手工设计，或者根据几何表达式构建模型，整个过程耗时较多，并且需要专业人士参与。此外，有一类方法通过渲染手段产生逼真的毛发效果，但是没有对动物毛发的几何结构进行建模，仅从视觉上实现毛发效果。渲染过程需耗费大量人力，且难以复用。

发明内容

为解决上述问题，本发明提供了一种基于单张彩色图像的动物毛发三维重建方法，能够根据单张彩色图像，重建出动物毛发的三维形态。

为了达到上述目的，本发明提供如下技术方案：

一种动物毛发三维重建方法，包括如下步骤：

步骤1，输入包含完整动物毛发的单张彩色图像；

步骤2，使用MaskR-CNN得到动物毛发区域的分割结果，所述分割结果为分割置信图；

步骤3，输入步骤1的单张彩色图像和步骤2的分割结果，使用Deep ImageMatting方法得到动物毛发区域的抠图结果；

步骤4，输入步骤3的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；

步骤5，训练变分自编码器，其中编码器能够得到隐空间编码z，解码器能够根据隐空间编码z解码得到毛发三维重建结果；

步骤6，输入步骤4中得到的二维方向场，通过神经网络学习人类毛发二维方向场到步骤5中隐空间编码z的映射，输出步骤4中动物毛发二维方向场对应的动物毛发三维重建结果。

进一步的，所述步骤3中Deep Image Matting方法包含两个阶段，第一个阶段包含编码器和解码器，编码器含14个卷积层和5个池化层，输入经过编码器得到尺寸为512*1*1的低分辨率特征图，解码器含6个卷积层和5个上采样层，解码后得到原图尺寸的alpha值预测；第二个阶段包含4个卷积层，使用第一阶段的输出作为该阶段的输入，得到动物毛发区域的抠图结果。

进一步的，所述步骤4具体包括如下过程：

对于每个像素点位置(x,y)，求得使F(x,y,θ)值最大时的θ，每个位置都有对应的θ，即二维方向；通过对整个区域求θ，得到整个区域的二维方向场；

其中，F(x,y,θ)＝(K_θ*I)(x,y)表示K_θ在(x,y)处的响应，K_θ是θ的函数，具体形式为：