[发明专利]一种面向人物肖像的新视图修正生成方法

权利要求书

1.一种面向人物肖像的新视图修正生成方法，其特征在于包括如下步骤：

步骤(1)任意源人物图像的目标前景与背景实时分离；

步骤(2)面部遮挡部位的识别与分割处理；

步骤(3)背景的随机光流计算与颜色缓存；

步骤(4)人物肖像特征关键点的智能检测与匹配；

步骤(5)交互式特征权重设置；

步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；

步骤(7)根据步骤(3)的缓存信息进行背景补全。

2.根据权利要求1所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(1)任意源人物肖像的目标前景与背景实时分离，具体实现如下：

提出一种近似二值掩码与边缘检测相结合的实时分离算法，通过基本几何形状中的椭圆与梯形掩码快速确定目标前景的大致范围，而后使用边缘检测算法在上述掩码确定的大致范围内进一步精确提取出人像前景，从而在实现人物肖像目标前景与背景的实时分离；

所述的椭圆与梯形的尺寸设置需要比实际人物肖像稍大，以适配更大相机俯仰范围与不同个体的人像。

3.根据权利要求1或2所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(2)面部遮挡部位的识别与分割处理具体实现如下：由于人脸颜色与五官形状具有非常强的先验性，则通过颜色阈值与五官形状掩码设置能够较为准确的定位正常人脸区域，对该正常人脸区域取反得到遮挡人脸区域的掩码，即遮挡物掩码，也称作反向掩码；利用得到的反向掩码与步骤(1)获取的原目标人像前景进行差值计算，实现遮挡人脸区域的识别与分割，并将识别得到的遮挡物颜色及位置信息存储在预先设定的遮挡模块中，作为后续人物肖像在新相机视角下生成的备用资源。

4.根据权利要求3所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(3)背景的随机光流计算与颜色缓存，具体实现如下：从给定的待修正视频影像中随机抽取两帧相邻图像，对其进行轻量级的稠密光流计算，并将光流变换对应的背景颜色信息缓存在预先申请的内存空间中备用，作为最后整体修正内容的背景补全依据。

5.根据权利要求4所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(4)人物肖像的特征关键点的检测与匹配，具体实现如下：

利用人脸的强先验特性通过人脸检测器进行面部轮廓与五官的特征关键点检测，得到正常人脸区域的特征关键点；而后通过结合颜色先验、步骤(1)所得目标前景的轮廓信息以及步骤(2)所得人脸区域的颜色与位置信息，设置皮肤颜色阈值，完成除面部轮廓与五官外的其他人物肖像特征关键点检测；将每个单帧图像的代表性关键点位置信息按照指定索引存储，完成人物肖像特征关键点的智能检测与匹配；所述的皮肤颜色阈值的设置如下：R∈[235,254]，G∈[210,234]，B∈[194,230]。

6.根据权利要求4或5所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(5)交互式特征权重设置是步骤(4)所得特征关键点的筛选机制，具体实现如下：默认五官、面部轮廓、头发区域、遮挡人脸区域、颈部、肩部的特征权重设置相等；使用者可依照实际应用情况与自身要求交互式地更改权重配比，以控制不同特征区域中关键点的数量。

7.根据权利要求6所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像，具体实现如下：利用步骤(4)的检测与步骤(5)的权重设置得到的成对特征关键点来计算基本矩阵；再通过计算两帧图像的投影矩阵而对图像进行预扭曲以将两帧图像对齐到同一平行平面空间；然后根据颜色信息插值生成中间系列视角的新图像序列；最后将生成的新图像序列反扭曲到目标视角平面空间，得到目标视角序列。