[发明专利]一种模型训练、图像生成方法及设备

权利要求书

1.一种模型训练方法，其特征在于，生成模型包括输入层、Transformer编码器和全连接层，所述方法包括：

获取样本集中的任一图像文本对，所述图像文本对包括样本图像以及对所述样本图像的内容进行描述的样本文本；

将所述样本图像输入到所述输入层，为所述样本图像增加目标噪声强度的噪声，得到目标噪声图像以及所述目标噪声图像的第一特征向量；

将所述第一特征向量和所述样本文本中包括的词对应的第一词嵌入向量输入到所述Transformer编码器，得到第二特征向量，所述第二特征向量是所述Transformer编码器基于所述第一词嵌入向量和注意力机制，对所述第一特征向量进行特征提取得到的；

将所述第二特征向量输入到所述全连接层，得到所述全连接层输出的预测噪声强度；根据所述预测噪声强度对所述目标噪声图像进行降噪处理，得到生成图像，并根据所述预测噪声强度和所述目标噪声强度确定损失值，根据所述损失值对所述生成模型进行训练，得到目标生成模型。

2.根据权利要求1所述的方法，其特征在于，所述获取样本集中的任一图像文本对之前，所述方法还包括：

获取预先采集的第一预设数量的第一图像，以及所述第一预设数量的第一图像分别对应的第一标签文本，所述第一标签文本是对对应的第一图像的内容进行描述的文本；

将所述第一预设数量的第一图像逐一输入到图像描述网络，得到所述图像描述网络输出的所述第一预设数量的第一图像分别对应的第二标签文本，所述第二标签文本为所述图像描述网络对对应的第一图像的内容进行预测的文本；

分别确定所述第一预设数量的第一图像对应的第一标签文本，与对应的第二标签文本之间的第一相似度；根据所述第一预设数量的第一图像分别对应的第一相似度，确定综合相似度；

根据所述综合相似度以及预先划分的相似度区间，确定所述综合相似度对应的目标相似度区间，使用所述目标相似度区间对应的目标标注方式，为所述样本集中包括的任一样本图像添加样本文本，得到图像文本对，所述样本集中包括的样本图像的数量大于所述第一预设数量。

3.根据权利要求2所述的方法，其特征在于，相似度区间对应的标注方式至少包括以下一项：

人工标注方式，所述人工标注方式为采用接收到的对样本图像的内容进行描述的样本文本对所述样本图像进行标注；

半人工标注方式，所述半人工标注方式为部分样本图像采用接收到的对样本图像的内容进行描述的样本文本对所述样本图像进行标注，部分样本图像采用图像描述网络对样本图像的内容进行预测得到的样本文本进行标注；

非人工标注方式，所述非人工标注方式为采用所述图像描述网络，逐一对所述样本集中的样本图像的内容进行预测得到的样本文本进行标注。

4.根据权利要求1所述的方法，其特征在于，所述为所述样本图像增加目标噪声强度的噪声，得到目标噪声图像以及所述目标噪声图像的第一特征向量包括：

为所述样本图像增加目标噪声强度的噪声，得到目标噪声图像；

将所述目标噪声图像裁剪成多个图像块，确定所述多个图像块分别对应的第三特征向量；

将所述第三特征向量按照预设的顺序进行拼接得到所述第一特征向量。

5.根据权利要求1所述的方法，其特征在于，所述Transformer编码器包括第一线性投射层、多头注意力层和第二线性投射层，所述将所述第一特征向量和所述样本文本中包括的词对应的第一词嵌入向量输入到所述Transformer编码器，得到第二特征向量包括：

将所述第一特征向量和所述第一词嵌入向量输入到所述第一线性投射层，所述第一线性投射层分别对所述第一特征向量和所述第一词嵌入向量进行归一化处理，得到第四特征向量和第五特征向量；

将所述第四特征向量和所述第五特征向量输入到所述多头注意力层，得到第六特征向量，所述第六特征向量是所述多头注意力层基于所述第五特征向量和注意力机制，对所述第四特征向量进行特征提取得到的；

将所述第六特征向量输入到所述第二线性投射层，所述第二线性投射层对所述第六特征向量进行归一化处理，得到所述第二特征向量。