[发明专利]一种基于离线人脸数据库的自动面部替换方法

权利要求书

1.一种基于离线人脸数据库的自动面部替换方法，其特征在于，具体按照如下步骤实施：

步骤1，构建离线人脸数据库；

步骤2，将步骤1获得的数据集中的每一张人脸图像进行镜像处理，然后将原始人脸图像和镜像后的人脸图像作为候选人脸图像集，根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类；

步骤3，输入待测人脸图像，使用dlib检测模型执行人脸检测以提取全部人脸，并估计待测人脸图像的人脸姿态，计算出待测人脸图像中所有人脸的欧拉角，并将候选人脸图像集中的人脸图像和待测人脸图像对齐到一个公共坐标系中；

步骤4，将待测人脸图像和候选人脸图像集中的所有人脸图像进行比较，获得初始候选人脸集；

步骤5，根据待测人脸图像调整初始候选人脸集中所有人脸图像的照明，获得调整后的候选人脸集；

步骤6，计算经步骤5得到的候选人脸集中的候选人脸图像与待测人脸图像之间的欧氏距离并按照从小到大的顺序排列，选择排名第一的候选人脸与待测人脸进行替换输出；

所述步骤2中根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类具体为：

步骤2.1，使用dlib检测模型对候选人脸图像集中的人脸图像进行特征点检测，获取人脸图像的6个关键点坐标，即就是左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌的坐标，然后采用平均脸模型将6个关键点作为3D模型的基本点，构建对应的3D模型，然后采用OpenCV的solvePnP函数，根据关键点在3D模型中的位置计算出人脸的旋转向量，然后将旋转向量计算欧拉角的偏航角Yaw和俯仰角Pitch；

步骤2.2，选择偏航角度在±25°内且俯仰角度在±15°的人脸图像作为备选人脸图像；

步骤2.3，对备选人脸图像进行分类，具体为：

将偏航角从-25°到25°均匀划分为5个区间作为横坐标，将俯仰角从-15°到15°均匀划分为三个区间作为纵坐标，将同时满足横纵坐标数值的对应人脸图像放置到对应的格子中，形成15个姿态箱，即就是将备选人脸图像分为15类；

所述步骤3中的计算出待测人脸图像中所有人脸的欧拉角，按照步骤2.1的方法进行，计算偏航角Yaw和俯仰角Pitch；

所述步骤4具体为：

步骤4.1，对备选人脸图像进行性别筛选：根据待测人脸图像的性别，在备选人脸图像的15个姿态箱中选择与待测人脸图像性别相同的人脸图像进行保留，作为下一步候选人脸图像；

步骤4.2，将步骤4.1获得的所有候选人脸图像进行年龄筛选：根据待测人脸图像的年龄区间，在步骤4.1得到的候选人脸图像中检测符合对应年龄区间的人脸作为下一步的候选人脸图像；

步骤4.3，选择步骤4.2得到的候选人脸图像中与待测人脸图像的偏航角和俯仰角相差均不超过3°的人脸作为下一步的候选人脸图像；

步骤4.4，选择步骤4.3候选人脸集合中符合分辨率要求的人脸作为下一步的候选人脸图像；

步骤4.5，计算经过步骤4.4处理得到的候选人脸图像与待测人脸图像的模糊距离d_B，将计算得到的模糊距离d_B由小到大排序，保留排在前50％的图像作为下一步的候选人脸图像；

步骤4.6，计算步骤4.5得到的候选人脸图像与待测人脸图像之间的照明距离d_L，然后对d_L按照从小到大的规则进行排序，最终保留照明距离d_L在前10％的人脸图像作为下一步的候选人脸；

所述步骤4.6具体为：

步骤4.6.1，使用人脸重新标记方法将步骤4.5获得的候选人脸图像和待测人脸图像表示为圆柱体状的平均人脸形状；

步骤4.6.2，计算每个RGB颜色通道中人脸替换区域的图像强度具体为：

其中，表示计算每个RGB颜色通道中人脸替换区域的图像强度；n(x,y)是图像位置(x,y)处的表人脸法线，ρ_c是三个颜色通道中每个通道的常数反照率，系数a_c,k光照条件，H_k(n(x,y)是球面谐波图像；

步骤4.6.3，通过将施密特正交化应用于谐波基H_k(n(x,y)来创建一个正交基ψ_k(x,y)，则表示为：

其中，β_c,k表示照明系数，ψ_k(x,y)表示施密特正交化后的球面谐波图像；

步骤4.6.4，根据步骤4.6.1-4.6.3分分别计算经步骤4.5得到的候选人脸图像和待测人脸图像对应的分别用和表示，然后计算候选人脸图像和待测人脸图像的照明距离d_L，具体为：

其中，表示候选人脸图像对应的照明系数，表示待测人脸图像对应的照明系数，d_L(I⁽¹⁾,I⁽²⁾)表示候选人脸图像和待测人脸图像之间的照明距离，其中，I⁽¹⁾为候选人脸图像，I⁽²⁾为待测人脸图像；

步骤4.6.5，计算所有候选人脸图像和待测人脸图像之间的照明距离，将计算的照明距离d_L按照从小到大的规则排序，保留d_L在前10％的人脸作为下一步的候选人脸图像。