[发明专利]一种基于自适应八叉树头发卷积神经网络的头发重建方法

说明书

本发明公开了一种基于自适应八叉树头发卷积神经网络的头发重建方法，包括：1)使用公开的头发数据库构造训练集，将数据库内的三维头发丝模型转为以自适应八叉树为结构的头发方向场，生成对应的头发方向图、头发区域图和身体区域图；2)设计一种自适应八叉树头发卷积神经网络来重建头发方向场；3)对输入图片进行预处理；4)对输出方向场的后处理，将自适应八叉树头发卷积神经网络生成的方向场转为由发丝表示的头发模型，完成头发重建。本发明利用八叉树的紧凑结构，大大压缩了头发方向场的存储空间，同时降低头发重建网络的内存开销以及运行时间。本发明可以有效识别并恢复输入图片中的三维头发结构，并确保与输入发型有一致的轮廓外观和纹理走向。

技术领域

本发明涉及三维重建的技术领域，尤其是指一种基于自适应八叉树头发卷积神经网络的头发重建方法。

背景技术

获取人体表面的三维网格表示一直是人机交互，虚拟现实，三维游戏以动画、电影特效制作等领域的重要技术之一。而头发作为人体的重要组成部分，头发重建技术的重要性也不言而喻。在虚拟现实等应用中，恢复逼真的三维头发模型，将大大增强虚拟环境应用的沉浸感，提高用户的舒适度；在三维游戏和动画电影制作领域也是一样，高精度的头发重建技术将大大增强三维人物的真实感。同时头发重建在发型设计，三维打印，生成三维雕像等领域也有重要应用。

基于单张图片的头发重建技术因其简单易用，技术门槛等优势在近年来获得越来越多的关注，同时在深度学习技术的助力下也取得较大突破。目前大多数头发重建网络遵循相似的重建策略：首先对发型图片提取特征，然后从特征回归目标发型的头发方向场。为了生成高质量的方向场，这些方法必须保证方向场的分辨率足够高。然而生成高分辨率的体数据，需要耗费大量的三维卷积模块，并且随着分辨率的升高，计算开销也呈指数增长。

由于头发细长的特殊结构，使得头发方向场内存在大片空区域，即包含许多方向向量为零向量的元素，这些空元素不仅浪费了存储空间，也为头发重建网络带来了多余的计算开销。本发明利用八叉树的数据结构，对方向场元素进行删减压缩：首先是舍弃空元素只保留非空元素,然后对方向场内相邻且方向相似的非空元素进行合并，只保留他们的平均方向，这样在保证精度的同时，更进一步地压缩了方向场的体量。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于自适应八叉树头发卷积神经网络的头发重建方法，实现从单张图片中恢复三维头发，用户只需提供一张含有头发的RGB图片，该方法自动地将其进行特征提取，然后利用训练好的自适应八叉树头发卷积神经网络恢复出与目标头发形状和外观都一致的三维头发模型。

为实现上述目的，本发明所提供的技术方案为：一种基于自适应八叉树头发卷积神经网络的头发重建方法，包括以下步骤：

1)使用公开的头发数据库构造训练集，将数据库内的三维头发丝模型转为以自适应八叉树为结构的头发方向场，同时生成对应的头发方向图、头发区域图和身体区域图；

2)设计一种自适应八叉树头发卷积神经网络来重建头发方向场，该自适应八叉树头发卷积神经网络采用自动编码器的结构，利用由多层二维卷积组成的编码器将输入图片转化为高维特征，然后由叠加的八叉树卷积层组成的解码器从高维特征恢复出目标发型的方向场；其中，为了弥补高维特征的对细节信息的忽略，自适应八叉树头发卷积神经网络将编码器的中间层特征直连到解码器的对应分辨率层中，从而增强网络对低维特征的捕捉；

3)对输入图片进行预处理：将发型图片转化为能够供自适应八叉树头发卷积神经网络识别的头发信息特征图，包含步骤：分割出图片内的头发区域像素，提取头发方向图，将图片与预定的人体模板进行对齐；

4)对输出方向场的后处理，将自适应八叉树头发卷积神经网络生成的方向场转为由发丝表示的头发模型，完成头发重建。