[发明专利]一种替换影视剧人物的方法

说明书

技术领域：

本发明属于数字影视制作和播放技术领域，涉及一种对数字影视剧中人物进行替换的工艺技术，特别是一种替换影视剧人物的方法。

背景技术：

目前，国内外的一些著名高校和研究机构已经对视频中自动人脸替换技术进行过初步的研究和探索，取得了一些研究成果。国内可以查到的有2007年吉林大学刘德龙的硕士论文《视频图像中的自动角色变换技术的研究》和2011年北京理工大学李传学的硕士论文《图像/视频中自动人脸替换研究》。刘德龙的研究内容具体涉及以下几个方面：一是人脸特征区域标识，人脸替换研究对象包括摄像头获取的图像和原始视频中的角色图像，基础工作是标识出待替换的部分，即人脸部分，上述两种情况采用不同的人脸定位方法：自动标识和手工标识，对于视频图像，采用手工标识的方法能够降低误差；而对于摄像头获得的图像，采用自动人脸定位方法，方便广大观众的热情参与；二是人脸姿态修正，在“换脸”过程中，随着电影中人物的移动，头部也会随之运动，所以头部的朝向及角度会有很大的差别，在替换过程中，需要估计替换与被替换者的头部姿态，根据影片中的角色的头部方向来变换替换图像中的头部姿态；三是换脸技术，一幅视频图像中的“换脸”操作，在准确地找到视频画面中人脸的位置基础上，替换成从摄像头获取的数字图像中的人脸，人脸的来源可以是直接相连的摄像头，也可以是存储起来的一段视频；而李传学的论文主要研究内容：一是基于语义的人脸选择与调整；根据已有的人脸属性识别算法与原始人脸外观属性的语义描述，在人脸图像库中选择语义“相似”的目标人脸或使用特定的目标人脸；二是根据二维人脸和三维形变模型构建特定人脸的三维模型；由于要被替换的人脸不一定是标准正面的，并且姿态、光照等属性信息需要二次调节，所以要根据选择出的语义相似的目标人脸与三维形变模型，建立特定人脸的三维人脸模型；三是采用泊松图像融合算法融合目标人脸和原始图像或视频的边界区域，使得替换后的人脸与周围环境融合逼真自然；以源图像内梯度场为指导，利用拉普拉斯算子将目标图像人脸部分的边界和原图像人脸的差异，平滑的扩散到整个融合部分；四是采用遮挡检测算法检测出目标人脸是否佩戴眼镜；根据是否佩戴眼镜以及眼镜的类型计算出替换边界，达到更好的替换结果，避免一些融合瑕疵效果的出现。

目前，国外主要从事过人脸替换研究的团队可检索到2009年Yi-Ting Cheng和Dmitri Bitouk两位学者的论文。Yi-Ting Cheng等人提出基于视频的人脸替换系统，该方法基于3D形变模型和表情数据库，人脸替换过程几乎不需要用户的干预，替换效果在视频和图像上都取得了良好的替换效果，系统的输入是一段视频和一张图片，输出是完成人脸替换后的视频，首先，对输入的包含人脸图像的视频序列化，对序列化的视频帧中人脸进行姿态和表情的估计，生成姿态和表情的参数估计；同时，对输入的2D人脸图像进行基于形变模型的三维建模，利用先前估计的姿态和表情调节该模型，并进行图像融合，消除边界差异，完成人脸替换；而哥伦比亚大学Dmitri Bitouk等人实现了照片中人脸的自动替换技术，该技术不需要3D模型，是完全自动的，并在不同的照明条件、皮肤颜色相差巨大等条件下，产生了不错的替换效果，但是该算法也有局限性，在一些情况下会出现低级的错误替换，如性别、年龄混淆替换，且当原始人脸存在遮挡时，如眼镜、物理遮挡等，人脸替换不彻底，有残余遮挡物出现，当原始人脸深度旋转角度较大时替换效果不佳，使得部分人脸信息与背景图像粘连等问题。上述现有技术仅仅停留在“静态”替换人物，替换后的效果往往与原视频的剧情大相径庭。