[发明专利]一种基于图结构匹配的图像检索方法

说明书

本发明公开了一种基于图结构匹配的图像检索方法，将查询图像的图结构输入到训练好的图神经网络，获取查询图像的节点特征以及节点之间相对和绝对位置，所述图神经网络包括特征提取模块、相对位置预测头和绝对位置预测头，特征提取模块用于提取图结构的节点特征，相对位置预测头和绝对位置预测头分别用于预测节点之间相对和绝对位置，通过计算分类损失和辅助损失，完成网络的训练。本发明提高了网络的训练效果，较大程度提高了图像检索的性能。

技术领域

本申请属于图像检索技术领域，尤其涉及一种基于图结构匹配的图像检索方法。

背景技术

图像检索即指由用户提供查询信息(图像，文本，图结构等)，基于查询信息为图像数据库中图像计算相似度，并向用户返回按相似度排序的前n张图像。

按图像检索过程中用户所提供的查询信息的类型可将图像检索分为若干类：

基于文本，用户提供文本形式的查询信息，例如“桌子上有一只猫”，“汽车左边有一只狗，后面有一个行人”，通常为非结构化。

基于图像，用户提供的查询信息也为图像。

基于图结构，用户提供结构化的查询信息，包括图像中可能出现的对象类别，以及对象之间的相对位置。

早期基于图结构的图像检索受限于图像分割算法发展，以及有限的离散空间关系，其检索效果及可用性有较大有待提高的空间。目前的技术方案关注于从用户提供的文本或图像中提取语义信息而忽略如何协助用户使得用户能够直接向检索系统提供语义信息。

发明内容

本申请的目的是提供一种基于图结构匹配的图像检索方法，直接使用由用户提供的结构化信息，更精确地描述用户的查询意图，并避免了潜在的信息丢失的语义提取这一过程，取得了令人满意的结果。

为了实现上述目的，本申请技术方案如下：

一种基于图结构匹配的图像检索方法，包括：

获取查询图像，以查询图像中各个对象为节点，节点之间的连线为边，将对象的属性作为初始节点特征，将边的起始节点与终止节点的中心坐标之差作为边的特征，构建图结构；

将查询图像的图结构输入到训练好的图神经网络，获取查询图像的节点特征以及节点之间相对和绝对位置，所述图神经网络包括特征提取模块、相对位置预测头和绝对位置预测头，所述特征提取模块为三层Transformer图卷积模块，用于提取图结构的节点特征，所述相对位置预测头和绝对位置预测头为多层感知机，分别用于预测节点之间相对和绝对位置；

根据图神经网络输出的节点特征，计算查询图像与图像数据库中图像的图结构相似度，向用户反馈查询得到的图像。

进一步的，所述初始节点特征为对象属性的独热编码。

进一步的，所述边的特征为归一化后边的起始节点与终止节点的中心坐标之差。

进一步的，所述计算查询图像与图像数据库中图像的相似度，包括：

对于任意两张图像，计算其中一张图像的每个节点特征与另一张图像的每个节点特征的节点相似度，所述节点相似度为两个节点特征的点积；

从一张图像的每个节点特征与另一张图像的每个节点特征的节点相似度中选取最大值，作为两张图像的图结构相似度。

进一步的，所述图神经网络的损失函数包括分类损失和辅助损失，其中分类损失用于计算节点相似度的损失，所述辅助损失包括节点之间相对位置的回归损失和绝对位置的回归损失。

本申请提出的一种基于图结构匹配的图像检索方法，通过相对位置预测头和绝对位置预测头分别用于预测节点之间相对和绝对位置，通过计算分类损失和辅助损失，完成网络的训练，提高了网络的训练效果，较大程度提高了图像检索的性能。

附图说明