[发明专利]一种基于改进的生成式对抗网络的图像语句转换方法

摘要

本发明提供一种基于改进的生成式对抗网络的图像语句转换方法，本发明的目的是在图像语句转换过程中，获得更符合人类表述习惯的语句。本发明包括利用基于区域的卷积神经网络根据图像分割成的区域进行显著性检测，产生各个区域的；将词汇向量输入到生成式对抗网络的生成器当中，利用生成器将词汇拼接成句子；将生成语句输入到生成式对抗网络的鉴别器当中，鉴别器通过比较语料库和生成语句的距离，不断否定距离大的语句，输出距离最小的语句；不断训练模型，确定模型参数，使模型趋于稳定后停止训练，并将测试图像进行输入，对模型进行测试。

主权项

一种基于改进的生成式对抗网络的图像语句转换方法，其特征在于，包括以下步骤：(1)利用基于区域的卷积神经网络对图像进行显著性检测，对检测部分进行分析，产生词向量；(2)利用生成式对抗网络中的生成器对步骤(1)中产生的词向量进行拼接，所述生成器利用两个长短时记忆模型，即句子模型和词汇模型，句子模型根据词向量不断生成句子；词汇模型将根据语境优化句子中的单词，使之更符合人类的表达习惯；(3)利用生成式对抗网络中的鉴别器对步骤(2)生成的句子进行结构分析，同时学习语料库中的对比语句，对生成语句中的词汇与语料库语句中的词汇一一检查，利用欧氏距离计算词汇相似程度即相似度，使得该相似度计算值满足设定阈值，则所生成语句通过混淆鉴别器，获得了输出语句；(4)利用步骤(2)中的生成器和步骤(3)中的鉴别器形成生成式对抗网络，沿着梯度下降最快的方向，在避免梯度消失的基础上对网络进行训练，通过在生成器训练过程中设置检测点，使生成器生成的语句，足以蒙骗鉴别器的鉴别效果，将所述语句进行输出。