[发明专利]一种基于实时视频本征分解的人脸外观编辑方法

摘要

本发明公开了一种基于实时视频本征分解的人脸外观编辑方法，在视频播放之前，用户先在参考人脸图像的本征albedo层和shading层做编辑；在视频播放时，这些编辑会被实时传递到视频流的人脸对应的层上。该技术主要分为如下三个步骤：参考人脸图像的处理、视频流的实时本征分解、和视频流的人脸外观编辑。本发明首次提出了在实时视频中进行本征分解的技术，利用此技术可以在实时视频中实现多种人脸外观编辑，如去除人脸皱纹，改变环境光照，色调传递等。

主权项

1.一种基于实时视频本征分解的人脸外观编辑方法，其特征在于，包括如下步骤：(1)离线参考人脸图像的处理：将参考图像进行本征分解和区域分割，计算各区域的颜色模型和结构模型，并构建albedo查询表；所述步骤(1)包括如下子步骤：(1.1)选择拍摄环境和视频流一致的参考图像，使用自动或交互式方法取得本征分解结果；(1.2)将参考图像分割为各个语义区域，分割后的语义区域按照分层结构进行组织；(1.3)为步骤(1.2)分割出的各区域构造本征albedo查询表，为像素颜色和albedo值建立映射；(1.4)为步骤(1.2)分割出的各区域建立颜色概率模型和结构概率模型，用于运行阶段的视频帧的区域对应；(2)视频流的实时本征分解：为视频流的当前帧找出和步骤(1)得到的参考图像各区域相对应的区域，再利用步骤(1)的albedo查询表传递本征值到视频帧上；所述步骤(2)包括如下子步骤：(2.1)根据步骤(1.4)建立的颜色概率模型和结构概率模型，使用图割算法框架，找到视频帧中和参考图像各区域相对应的区域；(2.2)根据步骤(1.3)得到的各参考区域的albedo查询表，基于步骤(2.1)得到区域对应，为视频帧的每个区域，根据其对应参考区域的albedo查询表将参考区域的本征值传递到视频当前帧对应的区域，再根据albedo值分解颜色信息得到shading值；(3)人脸外观编辑：根据步骤(2)得到的视频帧与参考图像的区域对应关系，以及本征分解的结果，将在参考图像的本征层上的编辑传递到视频帧上。