[发明专利]可自适应光照的视频换脸方法

权利要求书

1.一种可自适应光照的视频换脸方法，其特征在于，包括以下步骤：

步骤1、获取目标人脸视频，将目标人脸视频分割为若干场景；

步骤2、利用人脸识别技术在步骤1获得的每个场景中寻找完整的高分辨率人脸；

步骤3、利用步骤1获得的每个场景所对应的场景图像获得每个场景的球谐光照图，包括以下步骤：

步骤301、将场景图像输入到深度学习网络后估计出n个方位的球谐系数，将第i个方位的球谐系数定义为c_i，则有：

式(1)中，N表示场景图像所包含的采样点的数量；x_j表示场景图像的第j个采样点；L(x_j)表示第j个采样点x_j的光照函数，表示球坐标系下的光照强度值；Y_i(x_j)表示第j个采样点第i个方位的球谐基函数的分量；

步骤302、利用正态分布均匀采样得到的单位方向向量计算出球谐基与球谐系数进行球谐光照图的还原：

式(2)中，L′(s)表示还原后的球谐光照图；s是场景图象球坐标系下的采样点；n表示球谐函数的阶数，n²为球谐系数的个数，即球谐系数的方位数量；

步骤4、利用每个场景的球谐光照图为事先采集的模版人脸进行重打光，从而为每个场景合成对应的模版人脸；

步骤5、将每个场景的模版人脸与通过步骤2检测到的当前场景的目标人脸换脸进行匹配，并替换当前场景的目标人脸换脸，生成每个场景的换脸视频；

步骤6、将所有场景的换脸视频合并后输出，得到总体换脸视频。

2.如权利要求1所述的一种可自适应光照的视频换脸方法，其特征在于，步骤1中，将所述目标人脸视频分割为若干场景包括以下步骤：

根据不同的光照条件将场景定义为若干类别，不同类别的场景具有不同的光照条件；将目标人脸视频输入语义分割网络，对目标人脸视频抽取的每一帧图像读取得到帧特征向量，再用弱监督学习方法对帧特征向量进行特征融合进而得到视频特征向量，最后经过分类层输出相应的预测结果，从而将目标人脸视频分割为若干场景。

3.如权利要求1所述的一种可自适应光照的视频换脸方法，其特征在于，步骤4中，采用image-based rendering方法对模版人脸进行重打光。