[发明专利]检索目标的方法和装置

权利要求书

1.一种检索目标的方法，包括：

获取至少一幅图像以及指定对象的描述文本；

利用预先训练的跨媒体特征提取网络提取所述图像的图像特征以及所述描述文本的文本特征，其中，所述跨媒体特征提取网络将所述文本特征与所述图像特征投影至图像文本共同特征空间；

对所述图像特征与所述文本特征进行匹配，确定出包含所述指定对象的图像。

2.根据权利要求1所述的方法，其中，所述跨媒体特征提取网络是按照如下方式生成的：

获取训练样本集，其中，所述训练样本集包括样本图像文本对，所述样本图像文本对包括：样本图像和描述所述样本图像中包含的对象的样本文本；

获取初始网络，其中，所述初始网络包括待训练的跨媒体特征提取网络、用于判别特征来源的数据类别的判别网络、特征转化网络，所述待训练的跨媒体特征提取网络包括图像图注意力网络、文本图注意力网络；

将所述样本图像文本对中的样本图像输入图像图注意力网络，得到第一特征；

将所述样本图像文本对中的样本文本输入文本图注意力网络，得到第二特征；

将第一特征和第二特征输入所述判别网络得到类别判别结果，根据所述类别判别结果计算判别损失值，其中，所述特征来源的数据类别包括文本类和图像类，所述判别损失值表征第一特征和第二特征类别判定误差；

将第一特征和第二特征输入所述特征转化网络得到特征转化结果，根据特征转化结果计算识别损失函数的值和成对损失函数的值，其中，所述识别损失函数表征第一特征和第二特征在图像文本共同特征空间对所包含的不同对象的区分能力，所述成对损失函数表征同一对象的第一特征和第二特征之间的语义差异性；

基于所述识别损失函数的值和所述成对损失函数的值，得到预设的特征损失值；

基于所述判别损失值和所述特征损失值，将所述待训练的跨媒体特征提取网络和所述特征转化网络作为生成网络，与所述判别网络进行对抗训练，得到训练完成的跨媒体特征提取网络、判别网络、特征转化网络。

3.根据权利要求2所述的方法，其中，所述图像图注意力网络包括残差网络、图像图注意力卷积网络以及联合嵌入层；以及所述将样本图像输入图像图注意力网络，得到第一特征，包括：

利用残差网络提取样本图像的初始图像特征，将初始图像特征输入至图像图注意力卷积网络，输出样本图像的结构化图像特征，将初始图像特征与结构化图像特征融合，生成图像特征，将图像特征输入至联合嵌入层，得到第一特征。

4.根据权利要求3所述的方法，其中，所述将初始图像特征输入至图像图注意力卷积网络，输出样本图像的结构化图像特征，包括：

对样本图像进行目标对象检测，确定出样本图像中的目标对象和目标对象的矩形包围盒的位置，并根据所述目标对象的矩形包围盒的位置，提取所述目标对象的相关特征，其中，所述目标对象的相关特征包括以下至少一项：目标对象的外观特征、目标对象的位置特征以及所述目标对象的类型特征；

构建图像特征有向图，所述图像特征有向图的顶点表征所述目标对象，所述图像特征有向图的有向边表征各目标对象之间的关联关系；

根据所述图像特征有向图，生成样本图像的结构化图像特征。

5.根据权利要求2所述的方法，其中，所述文本图注意力网络包括双向长短期记忆网络、文本图注意力卷积网络以及联合嵌入层；以及所述将样本文本输入文本图注意力网络，得到第二特征，包括：

将样本文本进行分词处理，确定样本文本的词向量；

利用双向长短期记忆网络提取样本文本的词向量的初始文本特征，将初始文本特征输入至文本图注意力卷积网络，输出样本文本的结构化文本特征，将初始文本特征与结构化文本特征融合，生成文本特征，将文本特征输入至联合嵌入层，得到所述第二特征。