[发明专利]素描图像绘制方法、装置、计算机设备及可读存储介质

说明书

本发明公开了素描图像绘制方法、装置、计算机设备及存储介质。该方法包括获取人脸图像及对应的真实素描图像；将人脸图像输入特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；将最终输出的卷积特征输入特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；对所有预测素描图像进行融合，得到最终预测图像；根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失，并根据图像损失对特征金字塔网络的网络参数进行优化，得到最优特征金字塔网络；将目标人脸图像输入最优特征金字塔网络进行素描图像生成，得到目标素描图像。该方法使生成的素描图像细节更加丰富，更加自然清晰。

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种素描图像绘制方法、装置、计算机设备及存储介质。

背景技术

近年来人脸相关的生成效果算法得到了广泛的关注，许多人脸效果类软件的市场有了极大的扩大。然而，相较于卡通化、3D化等效果，现有的方法无法产生高质量的素描肖像画，生成的人脸素描始终难以达到手工素描的效果。素描人脸具有高度抽象的样式，包含大量的不规律的线条分布，尤其是头发、眼睛、嘴巴等具有丰富细节信息的区域，同时人脸的完整性也对算法的结构重建能力有较强的要求。主流方法通常使用生成式对抗网络(GAN)完成，将真实人脸作为输入，由生成器生成对应身份不变的素描结果，鉴别器则判断生成结果是否为真实人工素描。但是由于人脸的结构性和细节信息较多，算法往往效果较差。

目前主流人脸特效软件都具有类似的技术方案，比如使用人脸特效软件Snapchat中的Sketch滤镜功能，能够实时将画面调整为黑白，并用像素线条对画面中存在的轮廓进行模拟，形成类似素描的效果；比如抖音等特效软件中的铅笔画滤镜，在用户上传待处理视频后，在后台生成黑白素描视频返回给用户。这些方案或者使用传统滤波算法，往往速度较快但是效果不佳；或者将大量的真实图像和人工素描画作作为训练数据集，利用GAN生成对抗网络学习真实人脸和素描人脸的映射关系进行设计相对简单的GAN网络，利用生成器学习真实图像的细节特征，并通过判别器网络和卡通图像进行辨别和监督。但仍然存在以下不足：1、已有技术方案的生成器网络对于人脸的结构性保留不完整，容易出现人脸残缺不完整的问题；2、已有的技术网络方案往往单纯只使用一个卷积网络，利用最后一层卷积层的输出作为结果，丧失了大量细节信息，导致素描结果不够细腻。

发明内容

本发明实施例提供了一种素描图像绘制方法、装置、计算机设备及可读存储介质，旨在解决现有技术中所生成的素描图像的素描效果不佳的问题。

第一方面，本发明实施例提供了一种素描图像绘制方法，其包括：

获取人脸图像及对应的真实素描图像；

将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；

将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；

对所有预测素描图像进行融合，得到最终预测图像；

根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失，并根据所述图像损失对所述特征金字塔网络的网络参数进行优化，得到最优特征金字塔网络；

将目标人脸图像输入所述最优特征金字塔网络进行素描图像生成，得到目标素描图像。

第二方面，本发明实施例提供了一种素描图像绘制装置，其包括：

获取模块，用于获取人脸图像及对应的真实素描图像；

编码模块，用于将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码，得到不同尺度的卷积特征；

解码模块，用于将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的解码，并在解码过程中融合中间的卷积特征，得到多张预测素描图像；