[发明专利]基于注意力机制的目标变换方法

摘要

本发明涉及一种基于注意力机制的目标变换方法，包括：训练神经网络模型：步骤1，使用随机数初始化神经网络模型的参数；步骤2，输入一张属于类别X的图像x到模型的生成器G中，进入编码阶段，x经过一个卷积层来计算出第一层特征图f1。利用上述训练得到的神经网络模型进行图像的目标变换，通过在模型中引入注意力机制，使模型能够在目标变化任务中识别出需要转换的目标物体，从而将目标和背景区分开。同时，通过构建注意力一致损失函数和背景一致损失函数来保证原始图像和转换图像的背景一致性。

主权项

1.一种基于注意力机制的目标变换方法，其特征在于，包括：训练所述神经网络模型：步骤1，使用随机数初始化神经网络模型的参数；步骤2，输入一张属于类别X的图像x到模型的生成器G中，进入编码阶段，x经过一个卷积层来计算出第一层特征图f1；步骤3，随后f¹会经过两个分支网络：(a)一个卷积层得到未经注意力掩膜处理的第二层特征图(b)先经过两个卷积层再经过一个反卷积层得到与对应的注意力掩膜M²；将M²与逐个元素相乘，所得乘积再与的元素逐个相加，得到处理后的第二层特征图f²；步骤4，f2再按步骤3的方式得到下一层的特征图f3；随后，f3会经过6层卷积核尺寸为3*3、步长为1的残差卷积层进一步精细特征；步骤5，进入解码阶段，反卷积层作为解码器；f³会经过两个分支网络：(a)一个反卷积层得到未经注意力掩膜处理的第二层特征图(b)先经过两个反卷积层再经过一个卷积层得到与对应的注意力掩膜M⁴；将M⁴与逐个元素相乘，所得乘积再与的元素逐个相加，得到处理后的第二层特征图f⁵；步骤6，进入输出阶段，f5通过(a)一个反卷积层得到转换的图像y′；(b)先经过两个反卷积层再经过一个卷积层得到与y′对应的注意力掩模MG(x)；步骤7，y′会被输入另一个生成器F中，经过与步骤2‑6相同的操作后得到x′和对应的注意力掩摸MF(G(x))；步骤8，将x和x′输入判别器DX中，判别器DX会返回输入图像属于类别X的概率；同样地，y和y′输入判别器DY中，得到y和y′属于类别Y的概率；由此计算出对抗损失函数的值：步骤9，根据x，x′，y，y′计算出循环一致损失函数的值：Lcyc(G，F)＝||x′‑x||1+||y′‑y||1#(3)步骤10，使用MG(x)将x和y′中背景与转换目标分离，算出背景变化损失：Lbg(x，G)＝γ*||B(x，MG(x))‑B(y′，MG(x))||1#(4)B(x，MG(x))＝H(x，1‑MG(x))＃(5)γ设置为0.000075到0.0075；H(a，b)函数的值为a中元素逐个与b中相乘；同样，可以用MF(G(x))将y和x′算出背景变化损失Lbg(y，F)；步骤11，用MG(x)和MF(G(x))算出注意力变化损失：Latt(x，G，F)＝α*||MG(x)‑MF(G(x))||1+β*(MG(x)+MF(G(x)))#(6)α设置为0.000003到0.00015，β设置为0.0000005到0.00005；步骤12，学习率为0.00002到0.002的反向传播算法，根据之前步骤8‑11中得出的误差，调节模型参数；步骤13，将y当做输入图像，再经过步骤2‑11的操作算出误差，不同的是是先经过生成器F再经过生成器G)；再按步骤12的方法调节模型参数；步骤14，不断重复步骤2‑13，直到模型参数收敛；利用上述训练得到的神经网络模型进行图像的目标变换。