[发明专利]图像检索方法和装置

权利要求书

1.一种图像检索方法，其特征在于，包括：

获取待检索图像的表层特征向量；

依据待检索图像的表层特征向量与预先确定的先验知识数据生成待检索图像的终极特征向量；其中，

所述先验知识数据是使用预设的多个词语的特征向量以及所述多个词语在历史文本中具有的共生关系确定的；待检索图像的终极特征向量用于通过与查询文本的终极特征向量进行比对以实现图像检索，查询文本的终极特征向量是依据查询文本的表层特征向量与所述先验知识数据生成的；所述多个词语在历史文本中具有的共生关系由所述多个词语中的任意两个词语在所述历史文本中的出现概率确定；

所述先验知识数据根据以下步骤确定：将所述多个词语的特征向量组合为词语特征矩阵，根据所述出现概率生成出现概率矩阵；将所述词语特征矩阵作为隐状态矩阵的初始数据输入预先训练的图卷积神经网络；在所述图卷积神经网络的任一隐藏层，将所述出现概率矩阵的标准化矩阵与输入的隐状态矩阵相乘之后进行线性变换，并将该线性变换的结果送入预设的激活函数，得到该隐藏层输出的隐状态矩阵；将最后的隐藏层输出的隐状态矩阵确定为作为先验知识数据的先验知识矩阵。

2.根据权利要求1所述的方法，其特征在于，所述依据待检索图像的表层特征向量与预先确定的先验知识数据生成待检索图像的终极特征向量，包括：

将待检索图像的表层特征向量线性变换之后与所述先验知识矩阵的转置矩阵相乘，并将相乘的结果送入预设的归一化函数，得到待检索图像针对所述多个词语的相关性向量；其中，所述相关性向量由待检索图像针对所述多个词语中每一词语的相关性指数组成；

将所述相关性向量与所述先验知识矩阵相乘，得到待检索图像的深层特征向量；

将待检索图像的表层特征向量和深层特征向量结合为待检索图像的终极特征向量。

3.根据权利要求2所述的方法，其特征在于，所述查询文本的终极特征向量通过以下步骤生成：

使用预先训练的编码网络对所述查询文本包含的每一词语进行编码，将每一词语的编码组合之后进行自注意力编码，得到所述查询文本的表层特征向量；

获取所述查询文本针对所述多个词语的关联向量，将所述关联向量送入所述归一化函数，得到所述查询文本针对所述多个词语的第一相关向量；其中，所述关联向量中的每一分量表征所述查询文本中是否存在所述多个词语中的任一词语；

将所述查询文本的表层特征向量线性变换之后与所述先验知识矩阵的转置矩阵相乘，并将相乘的结果送入所述归一化函数，得到所述查询文本针对所述多个词语的第二相关向量；其中，第二相关向量由所述查询文本针对所述多个词语中每一词语的相关性指数组成；

将第一相关向量和第二相关向量的加权和确定为所述查询文本针对所述多个词语的相关性向量，将该相关性向量与所述先验知识矩阵相乘，得到所述查询文本的深层特征向量；

将所述查询文本的表层特征向量和深层特征向量结合为所述查询文本的终极特征向量。

4.根据权利要求1所述的方法，其特征在于，待检索图像的终极特征向量与查询文本的终极特征向量通过以下步骤进行比对以实现图像检索：

计算所述查询文本的终极特征向量与每一待检索图像的终极特征向量之间的相似度；

将最大相似度对应的待检索图像确定为所述查询文本对应的图像检索结果。

5.根据权利要求2或3所述的方法，其特征在于，待检索图像的表层特征向量通过以下步骤确定：

将待检索图像输入预先训练的卷积神经网络，得到待检索图像的特征图特征；

将所述特征图特征经线性变换后进行自注意力编码，得到待检索图像的表层特征向量；

所述激活函数为ReLU函数，所述归一化函数为Softmax函数。