[发明专利]基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备

摘要

本发明提供一种基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备，解决现有递归神经网络方法不能并行处理序列信号以及运算耗时的问题。该方法包括以下步骤：1)将卷积神经网络预训练好；2)提取图像的全局特征和局部特征，将图像的全局特征和局部特征投影到多模态映射空间中；3)对步骤2)中多模态映射空间下的图像表达进行卷积编码；4)单词特征表达；5)对步骤4)的描述语句进行卷积编码，6)计算注意力，得到输入图像对应生成单词的概率；7)构建输入输出之间的目标损失函数，利用损失函数进行神经网络训练，得到神经网络的位置参数；8)将测试图像输入训练的神经网络系统，得到测试图片对应的描述性自然语句。

主权项

1.一种基于卷积神经网络的图像描述方法，其特征在于，包括以下步骤：1)将卷积神经网络在数据集ImageNet预训练好；2)利用步骤1)预训练好的卷积神经网络提取图像的全局特征和局部特征，然后将图像的全局特征和局部特征投影到多模态映射空间中，得到多模态映射空间下的图像表达v′_i，所述图像包括训练集图像和测试集图像；3)对步骤2)中多模态映射空间下的图像表达进行卷积编码，得到图像编码信息c_I；c_I＝[c_I1,c_I2,…,c_Im]＝CNN[v′_i]＝CNN[v′₁,v′₂,…,v′_m]4)单词特征表达；给定步骤2)中图像对应的描述语句，对描述语句的单词进行特征表达，然后经过映射矩阵将其投影到多模态映射空间中，得到描述语句中每个单词的特征表达；s_t＝W_s·w_t,t∈{1,2,…,N}其中，s_t是语句中第t个单词的特征表达，w_t是原始描述语句的表示向量，W_s是文本的映射矩阵；5)对步骤4)的描述语句进行卷积编码，得到相应文本编码信息c_s；c_s＝[c_s1,c_s2,…,c_sT]＝CNN[s_t]＝CNN[s₁,s₂,…,s_T]6)计算注意力，得到输入图像对应生成单词的概率；6.1)将解码器的隐层状态h^l和步骤5)中文本编码信息c_s通过解码器加权，得到单词的解码向量，然后通过解码向量和步骤3)中的图像编码c_I做内积，计算注意力权重，计算公式如下：其中，表示注意力权重，是迭代l次的解码器隐层状态，c_si是第i个单词编码，c_Ij是第j个图像编码，表示第i个单词的解码向量，和是解码器的加权参数和偏移参数；6.2)将步骤6.1)得到注意力权重与步骤3)得到的图像信息编码加权求和，得到基于注意力加权的图像信息编码；其中，是基于注意力加权的图像信息编码，v_j是第j个图像特征；6.3)将步骤6.1)得到注意力权重与步骤5)得到的文本信息编码加权求和，得到基于注意力加权的文本信息编码；假定解码CNN的深度为L，每一层的隐层状态可表示为：h⁰＝c_s+c_I其中，h^l是第l层的隐层状态，输入层h⁰是图像编码和单词编码加权；编码器隐层状态更新，利用步骤(6.2)中计算得到的经注意力机制后的图像信息对编码器隐层状态进行更新，更新公式为：6.4)根据步骤6.2)的图像信息编码和步骤6.3)的文本信息编码，计算输入图像对应生成单词的概率；解码网络的隐层输出h^L，计算每次生成单词的概率p_j+1：(w_j+1|w_0:j,I；θ)～p_j+1其中，W_p是加权矩阵，b_p是偏移量，θ表示设计网络中的所有参数，条件概率(w_j+1|w_0:j,I；θ)表示，已知前j个单词情况下第j+1单词出现的概率；7)构建输入输出之间的目标损失函数，利用损失函数进行神经网络训练，得到神经网络的位置参数；7.1)利用步骤6.4)得到的单词概率构建输入图像和输出单词之间损失函数；其中，条件概率P(S|I；θ)表示已知图像I情况下，语句S出现的概率，7.2)使步骤7.1)的损失函数达到最小，初始化网络参数，通过优化算法迭代θ，得到最优的网络参数，完成神经网络训练过程；8)将测试图像输入至步骤7)训练的神经网络系统，得到测试图片对应的描述性自然语句。