[发明专利]一种基于胶囊网络和混合注意力的双重生成对抗学习方法

权利要求书

1.一种基于胶囊网络和混合注意力的双重生成对抗学习方法，其特征在于：包括基于自注意力和胶囊网络的自编码器模块E、向量空间自对抗模块和样本空间自对抗模块；

基于自注意力和胶囊网络的自编码器模块E，包括自编码器模块输入层、并行卷积层、自注意力层、初级胶囊层和终极胶囊层；

向量空间自对抗模块，包括向量空间生成器G_A和向量空间判别器D_A；

样本空间自对抗模块，包括样本空间生成器G_B和样本空间判别器D_B；

所述方法的具体步骤如下：

(1)预处理自编码器模块输入层输入的真实图片，从真实图片的特征分布中随机采样提取随机噪声z和样本标签L；

(2)自编码器模块E对真实图片进行编码，最终得到一个由终极胶囊层组成的真实向量空间Z_e并输入给向量空间判别器D_A，向量空间生成器G_A根据步骤(1)提取的随机噪声z和样本标签L生成一个接近真实的虚拟向量空间Z_a并输入给向量空间判别器D_A和样本空间生成器G_B；

(3)向量空间判别器D_A判断步骤(2)输入给自己的是真实向量空间Z_e还是虚拟向量空间Z_a，并且把判断结果反馈给向量空间判别器D_A和向量空间生成器G_A；

(4)样本空间生成器G_B根据步骤(2)中输入的虚拟向量空间Z_a和步骤(1)提取的样本标签L生成虚拟图像，并将虚拟图像输入给样本空间判别器D_B，并且，步骤(1)的真实图片也会输入给样本空间判别器D_B；

(5)样本空间判别器D_B判断步骤(4)输入给自己的是真实图片还是虚拟图像，并且把判断结果反馈给样本空间判别器D_B和样本空间生成器G_B。

2.根据权利要求1所述的基于胶囊网络和混合注意力的双重生成对抗学习方法，其特征在于：基于自注意力和胶囊网络的自编码器模块E具体运行步骤包括：

(1.1)自编码器模块输入层输入真实图片；

(1.2)通过并行卷积层对真实图片并行卷积运算，获得真实图片的特征图；

(1.3)通过自注意力层，反复对步骤(1.2)的特征图中的信息进行提取、压缩，输出的结果作为初级胶囊层；

(1.4)初级胶囊层通过压缩运算S，进一步压缩至终极胶囊层，并将终极胶囊层组成的真实向量空间Z_e输入给向量空间判别器D_A；

步骤(1.2)中分别采用3×3、5×5、7×7和9×9的卷积核进行并行卷积运算，运算公式为：

T＝ReLU(Conv^k×k(x))

其中，x为真实图片，ReLU为激活函数，Conv为卷积操作，k表示卷积核大小，T表示步骤(1.2)中并行卷积运算得到的特征图；

步骤(1.3)中，自注意力层通过对步骤(1.2)得到的特征图进行反复提取、压缩的运算公式为：

T_n＝Attention(T_n-1)

其中，Attention表示自注意力模块，T_n表示第n次提取、压缩后得到的结果，T_n表示第n-1次提取、压缩后得到的结果，i＝1、2、…、n-1、n，U表示初级胶囊层；

步骤(1.4)中的压缩运算公式为：