[发明专利]基于参考图像的图像眼睛自动打开方法及装置

说明书

一种基于参考图像的图像眼睛自动打开方法及装置，通过深度网络学习如何利用参考图像作为语义信息，进而输出具有真实感的结果。包括：1)收集包含参考图像的面部图像数据集；所述深度网络不仅基于训练集中的单一数据生成图像，而且还借助相关面部图像的其他参考图像指导生成器网络生成图像；2)将输入图像中的眼睛区域擦除，联合参考图像输入至生成器网络，对图像进行补全；计算补全后的图像与真实图像之间的内容/重构损失，优化生成器网络；同时将补全后的图像以及参考图像分别输入至感知损失计算网络，用感知损失对生成器网络的参数进行更新；最后用补全后的图像、参考图像计算鉴别器参数的梯度优化判别器网络；3)待损失下降到一定程度时，在测试数据集上对网络进行测试；通过评价指标选取最优的生成模型。

技术领域

本发明涉及计算机视觉、图像处理领域，特别涉及一种基于参考图像的图像眼睛自动打开方法及装置。

背景技术

随着模式识别、机器学习技术的发展和计算机运算能力的飞速提升，人们对图像的修饰和美化要求日益提高，追求更加完美自然的图像，尤其是脸部的照片美化效果。然而在日常生活中，拍照时眨眼经常会影响图像的效果。且眨眼造成的闭眼或者半闭眼的情形很难在后期的图像处理中进行调整。现有的修图工具诸如Adobe Photoshop等，即使是专业人员使用这些工具也很难做到让图像中的眼睛自然睁开，普通使用者面对闭眼照片几乎是无计可施，尽管所述图像的其他诸如构图、色彩、场景等方面都非常完美，也会因为闭眼而被弃用或删除。由于拍照时，被拍者经常会出现眨眼状况，或者，有时受环境、光线等限制导致被拍者不能正常睁大眼睛，影响被拍者的表情，不能拍出令人满意的照片。如果能够提供一种自动打开图像中眼睛的方法，使得普通使用者也能拍出完美的睁开眼睛的图像，而不受环境、光线等因素的限制，将是非常有意义的。

而要在照片中打开闭眼，如果仅仅是在相似的姿势和灯光条件照出受试者的新照片，并用图像块匹配和纹理融合产生最终结果。则没有充分利用图像中的语义或结构信息，比如全局光照或者主体的姿态，从而导致光照的微小变化以及不一致的注视方向会产生不可思议的合成结果。

除了经典的计算机视觉技术，最近的研究一直专注于使用深度卷积网络进行各种面部变换。其中，生成对抗网络(Generative Adversarial Networks，GAN)在人脸方面的应用是多种多样的。许多GAN能够从单一的低维向量生成具有真实感的人脸图像。深度网络通过训练，将低维噪声向量的每个元素对应到特定的脸部属性。图像补全在深度网络以及传统方法中有着广泛的研究和应用。原始的图像补全通过迭代算法，将图像分解成结构和纹理组件，结合补全和纹理合成来重建缺失区域。这种技术已经被用来去除图像中的大物体。但是，这些传统修复方法都不能解决面部图像中眼睛开闭这样结构复杂的修复问题。

如果采用块匹配和泊松融合实现面部修改，如面部美化、属性转化、面部正面化或合成化妆等，则实现效果并不理想。人们对面部结构中的小错误是非常敏感的，特别是对于每个人自己的脸，这一点在采用采用块匹配和泊松融合修改面部特征的时候很难被克服。人们更希望得到的补全图像是具有真实感的、自然的、“自己”的睁眼图像，而不是看起来像“别人”的、不自然的图像，即不仅需要“开眼”，而且需要具有真实感地自然“开眼”。

发明内容

本发明为解决上述技术问题，提出了一种基于参考图像的图像眼睛自动打开方法及装置。本发明的技术方案能够让闭眼、半闭眼或模糊图像完美“开眼”，所述方法不仅能够解读图像中的眼睛看的角度和姿势是什么，还能够解读所述眼睛的结构、颜色和纹理等信息。最终补全的结果逼真而自然。

本发明所述的一种基于参考图像的图像眼睛自动打开方法及装置，通过参考已有的面部图像样本，用来对处于闭眼状态的面部图像进行眼部修复，使得处于闭眼状态的面部图像的眼睛睁开，且补全后的图像呈现的效果真实自然。

根据本发明的一个方面，提供了一种基于参考图像的图像眼睛自动打开方法，包括如下步骤：