[发明专利]检索目标的方法和装置

说明书

本公开的实施例公开了检索目标的方法和装置。该方法的一具体实施方式包括：获取至少一幅图像以及指定对象的描述文本；利用预先训练的跨媒体特征提取网络提取图像的图像特征以及描述文本的文本特征；对图像特征与文本特征进行匹配，确定出包含指定对象的图像，从而利用跨媒体特征提取特征，将图像特征与文本特征投影至图像文本共同特征空间进行特征匹配，实现了跨媒体的目标检索。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及检索目标的方法和装置。

背景技术

随着互联网技术的快速发展，媒体数据的呈现方式也越来越丰富多样，不同类型的媒体数据从不同的角度描述同一事物。

人们期望可以实现不同类型的媒体数据之间的跨媒体检索，即通过一种类型的媒体数据，查询检索出具有相同语义的另一种媒体类型的媒体数据。

发明内容

本公开的实施例提出了检索目标的方法和装置。

第一方面，本公开的实施例提供了一种检索目标的方法，该方法包括：获取至少一幅图像以及指定对象的描述文本；利用预先训练的跨媒体特征提取网络提取图像的图像特征以及描述文本的文本特征，其中，跨媒体特征提取网络将文本特征与图像特征投影至图像文本共同特征空间；对图像特征与文本特征进行匹配，确定出包含指定对象的图像。

在一些实施例中，跨媒体特征提取网络是按照如下方法生成的：获取训练样本集，其中，训练样本集包括样本图像文本对，样本图像文本对包括：样本图像和描述样本图像中包含的对象的样本文本；获取初始网络，其中，初始网络包括待训练的跨媒体特征提取网络、用于判别特征来源的数据类别的判别网络、特征转化网络，待训练的跨媒体特征提取网络包括图像图注意力网络、文本图注意力网络；将样本图像文本对中的样本图像输入图像图注意力网络，得到第一特征；将样本图像文本对中的样本文本输入文本图注意力网络，得到第二特征；将第一特征和第二特征输入判别网络得到类别判别结果，根据类别判别结果计算判别损失值，其中，特征来源的数据类别包括文本类和图像类，判别损失值表征第一特征和第二特征类别判定误差；将第一特征和第二特征输入特征转化网络得到特征转化结果，根据特征转化结果计算识别损失函数的值和成对损失函数的值，其中，识别损失函数表征第一特征和第二特征在图像文本共同特征空间对所包含的不同对象的区分能力，成对损失函数表征同一对象的第一特征和第二特征之间的语义差异性；基于识别损失函数的值和成对损失函数的值，得到预设的特征损失值；基于判别损失值和特征损失值，将待训练的跨媒体特征提取网络和特征转化网络作为生成网络，与判别网络进行对抗训练，得到训练完成的跨媒体特征提取网络、判别网络、特征转化网络。

在一些实施例中，图像图注意力网络包括残差网络、图像图注意力卷积网络以及联合嵌入层；以及将样本图像输入图像图注意力网络，得到第一特征，包括：利用残差网络提取样本图像的初始图像特征，将初始图像特征输入至图像图注意力卷积网络，输出样本图像的结构化图像特征，将初始图像特征与结构化图像特征融合，生成图像特征，将图像特征输入至联合嵌入层，得到第一特征。

在一些实施例中，将初始图像特征输入至图像图注意力卷积网络，输出样本图像的结构化图像特征，包括：对样本图像进行目标对象检测，确定出样本图像中的目标对象和目标对象的矩形包围盒的位置，并根据目标对象的矩形包围盒的位置，提取目标对象的相关特征，其中，目标对象的相关特征包括以下至少一项：目标对象的外观特征、目标对象的位置特征以及目标对象的类型特征；构建图像特征有向图，图像特征有向图的顶点表征目标对象，图像特征有向图的有向边表征各目标对象之间的关联关系。

在一些实施例中，文本图注意力网络包括双向长短期记忆网络、文本图注意力卷积网络以及联合嵌入层；以及将样本文本输入文本图注意力网络，得到第二特征，包括：将样本文本进行分词处理，确定样本文本的词向量；利用双向长短期记忆网络提取样本文本的词向量的初始文本特征，将初始文本特征输入至文本图注意力卷积网络，输出样本文本的结构化文本特征，将初始文本特征与结构化文本特征融合，生成文本特征，将文本特征输入至联合嵌入层，得到第二特征。