[发明专利]一种基于变分自编码器和对抗生成网络的图像增广模型训练方法及图像分类方法

权利要求书

1.一种基于变分自编码器和对抗生成网络的图像增广模型训练方法，其特征在于，所述方法包括如下步骤：

S110：获取可见类训练图像，提取所述可见类训练图像的视觉特征和语义特征；

S120：预先配置图像增广模型，所述图像增广模型包括视觉模态变分自编码器、语义模态变分自编码器以及根据生成对抗网络配置的生成器；

S130：将所述视觉特征和语义特征分别输入视觉模态变分自编码器和语义模态变分自编码器中生成第一伪视觉特征和伪语义特征；

S140：将第一伪视觉特征和伪语义特征输入预配置的生成器中，融合生成第二伪视觉特征；

S150：根据图像增广模型的损失函数进行反向传播优化参数，直至总体损失函数收敛，保存模型参数，得到训练好的图像增广模型。

2.根据权利要求1所述的基于变分自编码器和对抗生成网络的图像增广模型训练方法，其特征在于，所述损失函数包括对抗损失函数，对抗损失函数获取步骤包括：

配置视觉特征判别器和语义特征判别器；

将所述视觉特征和所述第二伪视觉特征输入视觉特征判别器中获得第一判别信息；

将所述语义特征和所述伪语义特征输入语义特征判别器中获得第二判别信息；

根据第一判别信息和第二判别信息分别确定对抗损失函数，采用Adam梯度下降算法更新视觉特征判别器和语义特征判别器的参数；

所述损失函数还包括变分自编码器的总损失函数L_VAE、视觉模态变分自编码器的重构损失和KL散度损失、语义模态变分自编码器的重构损失和KL散度损失。

3.根据权利要求1所述的基于变分自编码器和对抗生成网络的图像增广模型训练方法，其特征在于，在所述步骤S110中：

利用视觉特征提取模型提取所述可见类训练图像的视觉特征，所述视觉特征提取模型是利用卷积神经网络和Transformer编码器作为特征提取网络；

将可见类训练图像输入卷积神经网络中得到特征图；

将所述特征图分割成多维特征向量块，并通过线性映射将每个特征向量块映射到一维向量中，得到多个特征向量；

对所述特征向量进行位置编码并嵌入到所述Transformer编码器中，在编码器中重复堆叠编码器块L次，输出第二维特征向量，再将第二维特征向量重组为预定大小的视觉特征。

4.根据权利要求3所述的基于变分自编码器和对抗生成网络的图像增广模型训练方法，其特征在于，在所述步骤S110中：

利用语义特征提取模型提取所述可见类训练图像的语义特征，将在文本语料库中经无监督训练得到的连续词袋模型作为语义特征提取模型，所述语义特征提取模型用来提取可见类图像语义特征向量，再通过维度变换网络将语义特征向量转换为预定大小的语义特征。

5.根据权利要求1所述的基于变分自编码器和对抗生成网络的图像增广模型训练方法，其特征在于，所述步骤S120中视觉模态变分自编码器包括编码器网络E1和解码器网络D1，所述编码器网络E1为全卷积网络，包含n层卷积，滤波器通道数目逐层增加，用于学习深层次的特征；所述全卷积网络中最后一个卷积层的输出为均值向量和方差向量两个n维矢量；

所述编码器网络E1将视觉特征映射到一个由概率分布N(μ,Σ)表示的区间向量上，进行采样得到隐变量Z₁，其中μ为均值向量，Σ为方差向量；则隐变量Z₁的概率分布为：

q₁(Z₁|x)＝N(Z₁|μ₁,Σ₁),p(Z₁)＝N(Z₁|0,I)

其中，q₁(Z₁|x)表示隐变量Z₁服从的概率分布，p(Z₁)表示隐变量Z₁的先验分布，此处为单位高斯分布，μ₁和Σ₁表示隐变量Z₁的均值和方差，N表示正态分布。