[发明专利]图像风格迁移方法和系统

说明书

本申请是关于一种图像风格迁移方法、图像风格迁移系统、电子设备和非临时性计算机可读存储介质。图像风格迁移方法包括：获取风格图片以及第一内容图片；第一神经网络对所述第一内容图片进行风格迁移以得到第二内容图片；第二神经网络基于损失函数计算所述第二内容图片与所述第一内容图片之间以及所述第二内容图片与所述风格图片之间的损失；根据所述损失优化所述第一神经网络；基于优化的所述第一神经网络对给定的第三内容图片进行风格迁移以得到第四内容图片，实现实时的风格迁移，在提高风格迁移的速度的同时最大程度保留内容图片的真实细节。

技术领域

本申请属于计算机软件应用领域，尤其是一种图像风格迁移方法和系统。

背景技术

真实图像风格迁移(Photorealistic Style Transfer，PST)研究的是自然图片之间的风格转换，指定一幅输入图片作为基础图片，也被称为内容图片，同时指定一幅或多幅图片作为希望得到的风格图片，算法在保证内容图片的结构同时，将图片的风格进行转换，最终输出的合成图片呈现出内容图片和风格图片的完美结合。例如：可以将一幅人像图片转换成具有油画风格的人像图片；或者将光线昏暗条件下拍摄的风景照片转换成光线明亮下的图片等。

现有技术通常采用深度学习网络提取特征用于辅助图像风格迁移，具体分为基于优化和基于前置网络两类。

第一类是运用卷积神经网络(Convolutional Neural Network，CNN)提取内容图片和风格图片的特征，构建格莱姆矩阵(Gram Matrix)，从而定义内容损失函数和风格损失函数，之后通过优化求解得到风格化的目标图片。第一类方法虽然可以得到真实度很好的风格化的图片，但是因为优化求解过程需要花费很长时间，所以无法实现快速的风格迁移。

第二类是运用BP算法(Error Back Propagation，误差反向传播算法)对一个前置网络进行训练，然后根据训练之后的前置网络对给定的内容图片进行风格迁移，得到风格化的内容图片。这种方法虽然可以实现快速的风格迁移，但是因为在风格迁移过程中存在内容损失和风格损失，所以无法得到高保真的风格化内容图片，也就是即使输入的内容图片和风格图片都是真实照片，输出的图片仍然像衣服变旧扭曲的绘画。

发明内容

为克服相关技术中存在的问题，本申请公开一种图像风格迁移方法和系统，在提高风格迁移的速度的同时最大程度保留内容图片的真实细节。

根据本申请实施例的第一方面，提供一种图像风格迁移方法，包括：

获取风格图片以及第一内容图片；

第一神经网络对所述第一内容图片进行风格迁移以得到第二内容图片；

第二神经网络基于损失函数计算所述第二内容图片与所述第一内容图片之间以及所述第二内容图片与所述风格图片之间的损失；

根据所述损失优化所述第一神经网络；

基于优化的所述第一神经网络对给定的第三内容图片进行风格迁移以得到第四内容图片。

可选的，所述损失函数包括：内容损失函数、风格损失函数以及图像损失函数。

可选的，所述第二神经网络基于损失函数计算所述第二内容图片与所述第一内容图片之间以及所述第二内容图片与所述风格图片之间的损失包括：

基于内容损失函数计算所述第二内容图片与所述第一内容图片之间的内容损失；

基于风格损失函数计算所述第二内容图片与所述风格图片之间的风格损失；以及

基于图像损失函数计算所述第二内容图片与所述第一内容图片之间的图像损失。

可选的，所述的图像风格迁移方法还包括基于语义分割算法优化所述风格损失函数。