[发明专利]一种基于层次注意力模型的图像检索方法

说明书

本发明涉及一种基于层次注意力模型的图像检索方法。包括S1.建立层次注意力模型以得出图像的显著性目标及其对应的显著值，并按其显著性值排序；S2.利用层次注意力模型将数据库图像分成背景与显著性目标区域，并对每个显著性目标区域提取SIFT特征、HSV颜色直方图及语义特征；S3.对待搜寻图像的各个显著性目标提取SIFT特征、HSV颜色直方图及语义特征；S4.将待搜寻图像的特征与数据库图像进行特征相似度匹配，对各个显著性目标的相似度进行加权排序得到基于显著性目标的检索结果。本发明将图像显著性加入到图像检索中，并按显著性目标的重要程度进行检索与加权，从而能够将检索结果按重要度分级，使得检索结果可以区分主次。

技术领域

本发明涉及一种基于层次注意力模型的图像检索方法，尤其涉及一种能实现按检索目标的重要程度进行区分的图像检索。

背景技术

随着微信、微博等数据共享平台的流行，图像、视频、音频、文本等异构数据每天都在以惊人的速度增长。针对这些包含丰富视觉信息的海量图片，如何在这些浩瀚的图像库中方便、快速、准确地查询并检索到用户所需的或感兴趣的图像，成为多媒体信息检索领域研究的热点。

然而，现有的图像检索基本都是针对整体图像来提取图像的底层特征，再对数据库中的图像进行检索，搜索出来的图像没有针对性且容易搜索到与背景相关的图像。而注意力模型能够快速而有效地把注意力集中在最感兴趣的区域上的同时抑制冗余的信息。且实际场景中，人眼通常可以同时关注好几个显著性对象，而且对不同显著性对象的重要程度有不同的认知，因此引入注意力模型来进行图像检索。

发明内容

本发明的目的在于针对现有图像检索没有针对性的问题，提供一种基于层次注意力模型的图像检索方法，可以对待搜索图像的显著性目标的重要程度进行区分，以检索更重要的信息，具有针对性强、有主次性等优点。

为实现上述目的，本发明的技术方案是：一种基于层次注意力模型的图像检索方法，所述方法包括；

步骤S1：建立层次注意力模型以得出图像的显著性目标及其对应的显著值，并按其显著性值排序；

步骤S2：利用层次注意力模型将数据库图像分成背景与显著性目标区域，并对每个显著性目标区域提取SIFT特征、HSV颜色直方图及语义特征；

步骤S3：对待搜寻图像的各个显著性目标提取SIFT特征、HSV颜色直方图及语义特征，将待搜寻图像的特征与数据库图像进行特征相似度匹配，对各个显著性目标的相似度进行加权排序得到基于显著性目标的检索结果。

在本发明一实施例中，步骤S1中层次注意力模型由显著性对象检测模型、显著性区域检测模型与全连接条件随机场构成，具体包括以下步骤：

步骤S11：由显著性区域检测模型得到低层的显著性图；

步骤S12：通过全连接条件随机场将低层的显著性图与显著性对象检测模型得到显著性对象检测框进行结合得到中间层的显著性对象实例图；

步骤S13：用显著性对象检测模型得到的置信度值对显著性对象实例图进行显著性分配得到最终的层次注意力图。

在本发明一实施例中，步骤S11包括以下具体步骤：

步骤S111：根据显著性区域检测模型得到的显著性图将像素分为显著性像素V＝{v_t}和背景像素B＝{B_t}，将显著性对象检测模型得到的显著性对象包含的像素记为N表示显著性对象个数。

步骤S112：将背景视为N+1类，根据以下六种假设将显著性图和检测的显著性对象信息融合扩展为显著性对象概率图：

假设1：如果显著性像素v_t只被标签为k的显著性对象检测框覆盖，那么显著性像素v_t属于第n个显著性对象的概率为1；