[发明专利]图像检索方法和装置

说明书

本发明公开了一种图像检索方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待检索图像的表层特征向量；依据待检索图像的表层特征向量与预先确定的先验知识数据生成待检索图像的终极特征向量；其中，所述先验知识数据是使用预设的多个词语的特征向量以及所述多个词语在历史文本中具有的共生关系确定的；待检索图像的终极特征向量用于通过与查询文本的终极特征向量进行比对以实现图像检索，查询文本的终极特征向量是依据查询文本的表层特征向量与所述先验知识数据生成的。该实施方式能够提高图像检索精度和速度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像检索方法和装置。

背景技术

图像和文本的匹配在视觉和语言的联系中起到非常关键的作用，尤其在通过文本检索符合条件的图像时有着极为广泛的应用，但是由于图像和文本处于两种模态，视觉和语义的鸿沟很难跨越。现在主流算法的思路是将图像和文本映射到一个统一的编码空间，即分别针对待检索图像和查询文本进行特征提取，并通过这种图像与文本的匹配关系学习跨模态特征，从而建立图像和文本之间的联系。

这类方法具有两个缺点。其一，以上方法只能提取图像和文本的表层特征，无法体现词语之间先天具有的深层语义联系，即无法提取先验知识层面的图像和文本特征，导致检索精度较差。其二，在以上方法中，待检索图像和查询文本无法独立编码，导致计算量较大，严重影响检索效率。例如，当使用某一文本检索图像时，如果待检索图像共有100幅，则以上方法首先需要将该文本的特征与100幅待检索图像的特征一一融合，此后才能进行检索，以上融合过程需耗费大量计算资源，易影响检索速度。

发明内容

有鉴于此，本发明实施例提供一种图像检索方法和装置，能够将预先确定的先验知识数据分别融入待检索图像和查询文本的表层特征向量，从而形成包含深层语义信息的终极特征向量用于检索，从而提高检索精度，此外还能够实现待检索图像和查询文本的独立编码以提高检索速度。

为实现上述目的，根据本发明的一个方面，提供了一种图像检索方法。

本发明实施例的图像检索方法包括：获取待检索图像的表层特征向量；依据待检索图像的表层特征向量与预先确定的先验知识数据生成待检索图像的终极特征向量；其中，所述先验知识数据是使用预设的多个词语的特征向量以及所述多个词语在历史文本中具有的共生关系确定的；待检索图像的终极特征向量用于通过与查询文本的终极特征向量进行比对以实现图像检索，查询文本的终极特征向量是依据查询文本的表层特征向量与所述先验知识数据生成的。

可选地，所述多个词语在历史文本中具有的共生关系由所述多个词语中的任意两个词语在所述历史文本中的出现概率确定；以及，所述先验知识数据根据以下步骤确定：将所述多个词语的特征向量组合为词语特征矩阵，根据所述出现概率生成出现概率矩阵；将所述词语特征矩阵和所述出现概率矩阵输入预先训练的图卷积神经网络，得到作为先验知识数据的先验知识矩阵。

可选地，所述将所述词语特征矩阵和所述出现概率矩阵输入预先训练的图卷积神经网络，得到作为先验知识数据的先验知识矩阵，包括：将所述词语特征矩阵作为隐状态矩阵的初始数据输入所述图卷积神经网络；在所述图卷积神经网络的任一隐藏层，将所述出现概率矩阵的标准化矩阵与输入的隐状态矩阵相乘之后进行线性变换，并将该线性变换的结果送入预设的激活函数，得到该隐藏层输出的隐状态矩阵；将最后的隐藏层输出的隐状态矩阵确定为所述先验知识矩阵。

可选地，所述依据待检索图像的表层特征向量与预先确定的先验知识数据生成待检索图像的终极特征向量，包括：将待检索图像的表层特征向量线性变换之后与所述先验知识矩阵的转置矩阵相乘，并将相乘的结果送入预设的归一化函数，得到待检索图像针对所述多个词语的相关性向量；其中，所述相关性向量由待检索图像针对所述多个词语中每一词语的相关性指数组成；将所述相关性向量与所述先验知识矩阵相乘，得到待检索图像的深层特征向量；将待检索图像的表层特征向量和深层特征向量结合为待检索图像的终极特征向量。