[发明专利]交互式图像纹理迁移转换方法、装置、计算机设备和存储介质

说明书

本申请涉及一种交互式图像纹理迁移转换方法、装置、计算机设备和存储介质。所述方法包括：获取目标语义图、风格化源图像以及与风格化源图像对应的源语义图；将目标语义图、风格化源图像以及源语义图输入深度神经网络得到目标图像，目标图像为目标语义图以风格化源图像为参照进行纹理迁移转换得到。其中，深度神经网络包括依次连接的多个纹理迁移层，各纹理迁移层均包括编码器、纹理迁移单元以及解码器，且纹理迁移层的输出作为相连的下一纹理迁移层的其中一输入，直至最后一层的纹理迁移层输出的结果作为目标图像。本方法可兼顾图像纹理转换的速度、质量和通用性。

技术领域

本申请涉及深度学习及图像转换技术领域，特别是涉及一种交互式图像纹理迁移转换方法、装置、计算机设备和存储介质。

背景技术

交互式纹理迁移是指用户针对一张参考的风格化源图像，通过语义图交互的方式，对其进行纹理的迁移和编辑。其一般要求三个输入，即参考的风格化源图像，该风格化源图像所对应的源语义图，以及用户进行交互编辑所指定的目标语义图。用户可以通过对目标语义图的编辑来交互式地控制风格化源图像中目标的外形、尺寸以及空间分布等，从而达到纹理迁移和编辑的目的。

在现有技术中，许多技术通过使用传统的机器学习方法来实现交互式纹理迁移，但这类方法存在需针对不同的任务设计特定的机器学习模型，以及算法执行效率很低等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高转换速度且通用的交互式图像纹理迁移转换方法、装置、计算机设备和存储介质。

一种交互式图像纹理迁移转换方法，包括：

获取目标语义图、风格化源图像以及与所述风格化源图像对应的源语义图；

将所述目标语义图、风格化源图像以及源语义图输入深度神经网络得到目标图像，所述目标图像为所述目标语义图以风格化源图像为参照进行纹理迁移转换得到；

其中，所述深度神经网络包括依次连接的多个纹理迁移层，各所述纹理迁移层均包括编码器、纹理迁移单元以及解码器，且纹理迁移层的输出作为相连的下一纹理迁移层的其中一输入，直至最后一层的纹理迁移层输出的结果作为所述目标图像。

可选地，所述深度神经网络包括5个依次连接的第一纹理迁移层至第五纹理迁移层，其中所述目标语义图、风格化源图像以及源语义图作为第一纹理迁移层的输入，所述目标图像作为第五纹理迁移层的输出；

所述编码器包括依次位于各纹理迁移层的第一至第五编码器；

所述解码器包括依次位于各纹理迁移层的第一至第五解码器；

所述纹理迁移单元包括位于所述第一纹理迁移层的全局纹理迁移单元，位于第二纹理迁移层的局部纹理迁移单元，以及位于第三至第五纹理迁移层的全局纹理增强单元。

可选地，将所述目标语义图、风格化源图像以及源语义图输入深度神经网络得到风格化目标图像包括：

将所述目标语义图、风格化源图像以及源语义图输入第一编码器，得到对应的第一特征数据，通过所述全局纹理迁移单元对所述第一特征数据进行全局范围内的纹理迁移计算得到第一风格化目标特征数据，利用第一解码器将所述第一风格化目标特征数据解码为第一风格化目标图像；

将所述目标语义图、风格化源图像以及源语义图以及所述第一风格化目标图像输入第二编码器得到对应的第二特征数据，通过所述局部纹理迁移单元对所述第二特征数据进行局部范围内的纹理迁移计算得到第二风格化目标特征数据，利用第二解码器将所述第二风格化目标特征数据解码为第二风格化目标图像；

将所述风格化源图像以及第二风格化目标图像输入第三编码器得到对应的第三特征数据，通过所述全局纹理增强单元对所述第三特征数据进行全局范围内的纹理增强计算得到第三风格化目标特征数据，利用第三解码器将所述第三风格化目标特征数据解码为第三风格化目标图像；