[发明专利]基于卷积-循环混合网络的图像描述模型的一体化训练方法

权利要求书

1.基于卷积-循环混合网络的图像描述模型的一体化训练生成方法，该方法根据输入的图像，经过模型产生对于该图像内容描述的句子，其特征在于：以下步骤，

步骤1：选择数据集，其中数据集的数据主要包括图像和与图像相对应的文本描述，一张图像分别对应五个句子；

步骤2：对图像进行预处理，根据不同网络的输入要求对图像进行调整；

步骤3：对图像进行特征提取，具体步骤如下：

步骤3.1：选择卷积神经网络，对卷积神经网络进行参数设置，使用该卷积神经网络在ImageNet数据集上经过训练学习到的参数作为网络的初始化参数；

步骤3.2：对卷积神经网络的结构进行调整，使卷积神经网络截至于全连接层，对输入的图像通过卷积神经网络后以向量的形式表示；

步骤4：对文本进行预处理，对其进行关键词提取，提取次数大于30的单词作为关键词制作一个字典，把关键词均以向量的形式进行表示；

步骤5：构建长短时记忆网络；

步骤6：联合卷积神经网络和长短时记忆网络进行一体化训练；

步骤6.1：选择深度学习框架，为了方便卷积神经网络与长短时记忆网络的联合操作需要在同一框架中使用统一的格式来进行构建；

步骤6.2：输入一张图像，通过卷积神经网络对其特征进行提取，卷积神经网络的输出则是表示图像特征的向量，该向量被用于初始化长短时记忆网络的隐含层参数，确立卷积神经网络与长短时记忆网络之间的连接关系；

步骤6.3：把图像所对应的文本进行关键词提取，使文本中的单词转化为向量格式来作为长短时记忆网络的输入；

步骤7：选择损失函数、优化函数对卷积神经网络和长短时记忆网络进行反向传播运算，同时更新卷积神经网络和长短时记忆网络的内部参数值，设置迭代次数超参数对卷积神经网络与长短时记忆网络进行一体化训练，保存模型用于测试。