[发明专利]一种从结构化文本到图像描述的生成方法

摘要

本发明公开了一种从结构化文本到图像描述的生成方法，从互联网下载图片，构成图片训练集；对训练集中图像对应的描述进行词法分析，构造结构化文本；利用现有的神经网络模型，提取训练集图像的卷积神经网络特征，并以<图像特征，结构化文本>作为输入，构造多任务识别模型；以训练集中提取的结构化文本和相应描述作为递归神经网络的输入，训练得到递归神经网络模型的参数；输入待描述图像的卷积神经网络特征，通过多任务识别模型得到预测结构化文本；输入预测结构化文本，通过递归神经网络模型得到图像描述。与现有技术相比，本发明能够产生更好的图像描述效果和准确性以及句子的多样性，可以有效地推广到图像检索的应用当中。

主权项

1.一种从结构化文本到图像描述的生成方法，其特征在于，该方法包括以下步骤：步骤(1)、从互联网下载图片，并对每个图片进行描述，形成<图像，描述>对，构成文本描述训练集；图像表示为集合N_d是集合IMG中的图像总数；每个图像对应多个描述，描述表示为集合Sentences＝{Sentence₁,…,Sentence_N}，N表示每一个图像所对应的句子(Sentence₁,…,Sentence_N)的描述个数，通过现有的图像集合IMG以及每个图像对应的句子描述Sentences组成<图像，描述>对，构成文本描述训练集；步骤(2)、对训练集中图像对应的描述进行词法分析，构造结构化文本，结构化文本组成包括物体和属性、活动、场景；步骤(3)、利用现有的神经网络模型，提取训练集图像的卷积神经网络特征，并以<图像特征，结构化文本>作为输入，构造多任务识别模型，模型表示如下：其中，i＝1,2,3，l＝3表示该模型分为三个任务，第一个任务为识别图像存在的物体和相应的属性，第二个任务为识别图像中存在的活动，第三个任务为识别图像中具有的场景；X_i表示从图像中提取的卷积神经网络特征，Y_i指的是从文本描述中获得物体及对应描述、活动、场景；1^T_i表示单位矩阵，L表示是超图拉普拉斯，表示矩阵的迹，α,β,γ为目标函数的正则项参数，W_i,b_i为待优化参数；步骤(4)、以训练集中提取的结构化文本和相应描述作为递归神经网络的输入，训练得到递归神经网络模型的参数；步骤(5)、输入待描述图像的卷积神经网络特征，通过多任务识别模型得到预测结构化文本；步骤(6)、输入预测结构化文本，通过递归神经网络模型得到图像描述。