[发明专利]有纹理的神经化身

说明书

本发明总体上涉及针对变化的人体姿态和相机位置产生人的全身渲染的计算机视觉和计算机图形领域，并且具体地，涉及用于合成人的2D图像的系统和方法。用于合成人的2D图像的方法包括：接收在相机坐标系中定义的人的身体关节位置的3D坐标(S101)，其中，身体关节位置的3D坐标定义人的姿态和2‑D图像的视点；基于身体关节位置的3D坐标使用训练的机器学习预测器来预测身体部位分配的图堆栈和身体部位坐标的图堆栈(S102)，其中，身体部位坐标的图堆栈定义人的身体部位的像素的纹理坐标，身体部位分配的图堆栈定义权重，其中，每个权重指示特定像素属于人的特定身体部位的概率；从存储器读取先前初始化的人的身体部位的纹理的图堆栈(S103)，其中，纹理的图堆栈包括人的身体部位的像素的值；以及通过使用身体部位分配的图堆栈、身体部位坐标的图堆栈和纹理的图堆栈，将人的2‑D图像重建为像素的值的加权组合(S104)。用于合成人的2D图像的系统实现用于合成人的2D图像的方法。

技术领域

本发明总体上涉及针对变化的人体姿态和相机位置产生人的全身渲染的计算机视觉和计算机图形领域，并且特别地，涉及用于合成人的2D图像或人的3D图像的系统和方法。

背景技术

对人体按照其在变化的姿态和成像条件下的所有复杂度进行捕获和渲染是计算机视觉和计算机图形的核心问题之一。近来，涉及深度ConvNet(卷积网络)作为经典图形管线的可选方案的兴趣激增。身体片段(例如，面部[48,34,29]、眼睛[18]、手[37]等)的真实神经渲染现在是可能的。最近的著作已经示出了这样的网络产生人在变化的姿态但固定的相机位置和紧身穿着的情况下的视图的能力[1,9,33,53]。

在若干研究领域的交叉处，本发明与大量的先前著作密切相关，并且下面讨论这些关系中的一些。

几何人体建模。从图像数据构建全身化身长期以来一直是计算机视觉研究的主要主题之一。传统地，化身通过特定中立姿态的3D几何网格、纹理和根据姿态改变来变换网格顶点的换肤机制被定义。大量著作致力于从3D扫描仪[40]、注册的多视图序列[42]以及从深度和RGB-D序列[5,55]进行身体建模。另一个极端是将蒙皮参数身体模型拟合到单个图像的方法[45,4,23,6,27,39]。最后，从单目视频构建全身化身的研究已经开始[3,2]。与最后一组著作类似，本发明从视频或一组未注册的单目视频构建化身。对人类化身进行建模的经典(计算机图形)方法需要对人类皮肤、头发、巩膜、服装表面反射率进行显式的物理似真建模，以及对姿态改变下的运动进行显式的物理似真建模。尽管在反射率建模[56,13,30,58]和更好的蒙皮/动态表面建模[46,17,35]方面取得了相当大的进展，但是计算机图形方法(特别是如果需要化身的实时渲染)仍然需要设计者相当大的“手动”努力来实现高真实感并通过所谓的恐怖谷理论[36]。

神经人体建模。使用深度卷积神经网络的图像合成是一个蓬勃发展的研究领域[20,15]，并且最近的许多努力已经致力于真实人脸的合成[28,11,47]。与传统的计算机图形表示相比，深度ConvNet通过将过多数量的可学习权重拟合到训练数据来建模数据。这样的ConvNet避免了在姿态改变的情况下对表面几何体、表面反射率或表面运动的显式建模，并且因此不会遭受相应部件的真实性的缺乏。相反，在这种方法中缺乏根深蒂固的几何模型或光度模型意味着泛化到新的姿态(特别是新的相机视图)可能是有问题的。在过去几年中，对于个性化的说话头部模型[48,29,34]、头发[54]、手[37]的神经建模，仍然取得了许多进展。在过去几个月中，几个小组已经呈现了全身神经建模的结果[1,9,53,33]。虽然所呈现的结果非常令人印象深刻，但是它们仍然将训练图像和测试图像限制为与相同的相机视图相应，这在我们的经验中使得任务比从任意视点建模身体外观简单得多。在本发明中，目的是扩展神经体建模方法以处理后一个更难的任务。