[发明专利]基于自然语言描述的视频监控行人搜索的注意力模型方法

权利要求书

1.一种基于自然语言描述的视频监控行人搜索的注意力模型方法，其特征在于，包括如下步骤：

1)设由卷积神经网络提取的第n张图像特征向量为I_n；第n张图像对应的自然语言描述中含有若干个单词；第k个单词的文本特征向量为图像特征向量I_n和文本特征向量融合得到的融合向量为

2)将所述的融合向量输入到全连接层中进行训练，得到向量即：

其中，为融合向量的权重矩阵，为图像特征向量I_n和文本特征向量所对应的融合向量的偏置向量；

3)将向量输入神经网络的Softmax层中进行归一化，并计算权重值S_n，将所有权重值作为元素构成注意力向量即：

其中，注意力向量中共有j个元素x_j，为注意力向量中第i个元素的权重；

4)将第k个单词的文本特征向量为输入到全连接层中进行训练，得到向量即：

其中，为第n张图像和第k个单词对应的文本特征向量的权重矩阵，为第n张图像和第k个单词对应的文本特征向量的偏置向量；

5)将向量输入神经网络的Softmax层中进行归一化，并计算权重值TS_n，将所有权重值作为元素构成注意力向量即

其中，注意力向量中共有j个元素z_j，为注意力向量中第i个元素的权重；

6)将注意力向量与文本特征向量进行内积运算，得到经过注意力向量加权的标量分数--文本的重要程度即：

7)将注意力向量与第k个单词的图像特征向量进行内积运算，得到经过注意力向量加权的标量分数--文本与图像之间的联系程度即：

8)将联系程度与重要程度进行乘积运算，得到注意力评价分数Sco，即：

其中，注意力评价分数是用于表示文本中每个单词与图像的相关程度，分数越大，则每个单词与图像的相关程度越高。