[发明专利]RGB-D图像检索方法

说明书

本发明提供一种RGB‑D图像检索方法，包括以下步骤：对各幅RGB‑D图像彩色图像提取SIFT纹理特征点，构建SIFT特征层级式词汇树，并计算基于SIFT特征层级式词汇树的图像相似度；对各幅RGB‑D图像深度图像提取FPFH结构特征点，构建FPFH特征层级式词汇树，并计算基于FPFH特征层级式词汇树的图像相似度；通过基于SIFT特征层级式词汇树与基于FPFH特征层级式词汇树的相似度计算RGB‑D图像对的相似度得分，实现RGB‑D图像的检索。本发明通过分别对彩色图像SIFT特征与深度图像FPFH特征进行层级式聚类，构建融合了纹理与结构信息的层级式词汇森林，用于实现面向场景建模的RGB‑D图像检索。

技术领域

本发明涉及图像处理技术领域，具体涉及一种RGB-D图像检索方法。

背景技术

在基于图像的场景建模流程中，需要通过提取、匹配图像局部特征以获取图像对之间的对应关系。然而，对大规模场景而言，具有公共可见区域的图像对仅占全体图像对中极小部分。因此，对所有图像进行两两匹配效率过低且无必要。

针对这一问题，现有方法通常采用基于词袋(bag of words)模型的图像检索方式获取各图像的候选匹配图像，并仅对各图像与其候选匹配图像进行特征匹配。上述方式可在不明显降低匹配效果的同时极大提升匹配效率。

RGB-D成像技术发展迅速并诞生了许多代表性产品，如Kinect、RealSense等。相比于传统彩色图像，除场景纹理信息外，RGB-D图像还可以提供场景结构信息，因此广泛运用于如室内场景等结构复杂、纹理缺乏的场景建模领域。

评价图像检索精度用于评价图像匹配的算法的稳定性，目前主要有两种真值给定方式，第一种是人为给定，这种方式需要大量的人工操作，自动化程度低，第二种是根据相机位姿计算，这种方式无法有效利用图像信息，可靠性较差。

发明内容

本发明的目的在于提供一种RGB-D图像检索方法。

为实现上述目的，本发明采用的技术方案是：

一种RGB-D图像检索方法，包括以下步骤：

对各幅RGB-D图像彩色图像提取SIFT纹理特征点，构建SIFT特征层级式词汇树，并计算基于SIFT特征层级式词汇树的图像相似度；

对各幅RGB-D图像深度图像提取FPFH结构特征点，构建FPFH特征层级式词汇树，并计算基于FPFH特征层级式词汇树的图像相似度；

通过基于SIFT特征层级式词汇树与基于FPFH特征层级式词汇树的相似度计算RGB-D图像对的相似度，基于RGB-D图像对的相似度实现RGB-D图像的检索。

在本发明一些实施例中，计算RGB-D图像对的相似度的方法包括：计算RGB-D图像对的相似性得分，所述相似性得分的计算方法包括：

基于SIFT特征层级式词汇树及FPFH特征层级式词汇树获取各幅RGB-D图像基于SIFT特征检索向量与基于FPFH特征的检索向量其中，为彩色图像基于SIFT特征的检索向量，为深度图像基于FPFH特征的检索向量，i表示选定的RGB-D图像序号，表示实数空间，n为检索向量维数，N为RGB-D图像的总数；

基于所述检索向量获取各对RGB-D图像基于SIFT特征层级式词汇树的相似性得分；基于所述检索向量获取各对RGB-D图像基于FPFH特征层级式词汇树的相似性得分：

其中，表示图像i检索向量的第k个元素，表示图像j检索向量的第k个元素；表示图像i检索向量的第k个元素，表示图像j检索向量的第k个元素；

表示图像i与图像j基于SIFT特征的层级式词汇树的相似性得分，表示图像i与图像j基于FPFH特征的层级式词汇树的相似性得分。