[发明专利]一种基于消费级RGB-D相机的人脸视觉外观恢复方法

摘要

本发明公开一种基于消费级RGB‑D相机的人脸视觉外观恢复方法，通过用消费级别的RGB‑D相机采集人脸三维几何模型和一组彩色照片作为算法输入，对不准确的相机位姿、人脸几何形状以及耦合在彩色照片中的未知人脸材质和环境光照进行联合优化，以恢复人脸几何模型的视觉外观。该方法能够模拟出人脸皮肤较薄处因光线射入皮肤被皮下血管和组织散射、吸收，从阴影处离开所引起的微弱倾向红色的偏移；且遵守能量守恒定律，更符合物理学规律，总体上看起来更为真实。本发明的方法能够恢复出接近彩色照片的具有真实感的人脸视觉外观。

主权项

1.一种基于消费级RGB‑D相机的人脸视觉外观恢复方法，其特征在于，该方法首先对人脸皮肤材质建模，然后通过联合优化的方法修正不准确的相机位姿、人脸几何形状，并估计耦合在彩色照片中的未知人脸材质和环境光照，以恢复人脸几何模型的视觉外观。所述的人脸皮肤材质建模具体为：(1)采用三层皮肤介质模型将皮肤结构简化为油脂层、表皮层和真皮层等三层；(2)对由皮肤表皮层和真皮层贡献的漫反射部分采用基于光谱和生物物理参数的皮肤双向表面散射分布函数对皮肤所具有的半透明效果进行建模；对发生在皮肤表面油脂层的镜面反射部分采用基于物理的双向反射分布函数进行建模。所述的联合优化的方法包括如下步骤：(1)对相机位姿进行线性参数化，使用高斯牛顿优化方法对相机位姿进行求解；(2)对人脸材质进行逐点和逐区域地三步法优化，使用Nelder‑Mead搜索方法对人脸材质的参数进行求解；(3)对环境光照使用八面体映射的方法参数化，使用高斯牛顿优化方法对环境光照进行求解；(4)对人脸几何结构添加平滑性和可积性约束，使用高斯牛顿优化方法对人脸几何结构进行求解。