[发明专利]基于多任务度量多核学习的室内RGB‑D场景图像识别方法

说明书

技术领域

本发明属于模式识别和图像处理技术领域，具体涉及一种基于多任务度量多核学习的室内RGB-D场景图像识别方法。

背景技术

场景识别是模式识别和图像处理技术领域中最受关注的课题之一。传统的场景识别通常利用彩色图像来完成室外场景识别的任务。由于场景元素的复杂性，室内场景识别长久以来一直没有得到重视。近年来，随着微软Kinect摄像头的出现，场景的景深信息可以方便地获取。这样，摄像机在获得普通彩色图像(RGB图像)的同时，还可以获得标志景深信息的深度图像(Depth图像)，这为室内场景识别提供了可能。近年来，已经有学者利用这种新型的RGB-D图像对室内场景识别进行了研究。Dahua Lin,Sanja Fidler和Raquel Urtasun在文章“Holistic scene understanding for 3d object detection with rgbd cameras.”(ICCV,2013)中提出了一种利用图像分割和几何学知识提取RGB-D图像中的三维目标，然后基于这些目标完成室内场景识别。Shaohua Wan,Changbo Hu,J.K.Aggarwal在文章“Indoor Scene Recognition from RGB-D Images by Learning Scene Bases.”(ICPR,2014)中通过利用场景中的目标和性质，对室内场景的属性进行了定义，提出了一种基于场景元素的室内场景识别方法。

上述方法的不足之处是：都利用RGB-D图像便于目标识别的特性，先将场景中的目标物体都识别出来，然后根据目标物体来分析这是哪一种室内场景。这种技术路线的最大缺点是：很多物体很可能出现在多种场景中。例如：这些方法中往往认为茶杯会出现在餐厅中，所以，当识别出某场景中含有茶杯这个物体，就认为该场景为餐厅。然而，在现实中，由于人们习惯的不同，茶杯可能出现在客厅，也有可能出现在卧室。而现有的技术路线这种根据物体定义场景的方法无法克服该缺点。而且现有技术路线也没有直接利用彩色图像(RGB图像)和深度图像(Depth图像)之间的联系，从而导致图像场景识别的准确率不高。

发明内容

为了解决现有技术中存在的图像场景识别准确率低的问题，本发明提供了一种基于多任务度量多核学习的室内RGB-D场景图像识别方法。

实现本发明目的的技术思路是，将彩色图像和深度图像分别提取全局特征；利用多任务度量学习将两种图像类型的特征映射到同一个修正特征空间中；采用多核学习分类器将组合特征进行分类，完成室内场景识别。本发明要解决的技术问题通过以下技术方案实现：

基于多任务度量多核学习的室内RGB-D场景图像识别方法，该方法包括以下步骤：

步骤一，将室内RGB-D场景图像训练集中的每一幅RGB-D场景图像的每一张彩色图像和与彩色图像对应的深度图像通过卷积神经网络分别提取彩色图像特征和对应深度图像特征；

所述彩色图像特征和对应深度图像特征均为全局特征；

步骤二，通过多任务度量学习方法构建映射函数，得到特征映射矩阵，然后将所述彩色图像特征和所述对应深度图像特征同时通过所述特征映射矩阵映射到修正特征空间中，并得到修正彩色图像特征和修正深度图像特征；

步骤三，将所述修正彩色图像特征和所述修正深度图像特征一一对应，然后将所述修正彩色图像特征和所述修正深度图像特征的特征向量拼接为一个特征向量，形成修正RGB-D图像特征；再通过多核学习方法，对修正RGB-D图像特征进行学习，得到多核室内场景分类器模型；

步骤四，通过步骤一将待识别的室内RGB-D场景图像提取待识别彩色图像特征和待识别对应深度图像特征，然后通过步骤二中的所述特征映射矩阵将待识别彩色图像特征和待识别对应深度图像特征映射到修正特征空间中并形成待识别修正彩色图像特征和待识别修正深度图像特征，并将待识别修正彩色图像特征和待识别修正深度图像特征一一对应并拼接成待识别修正RGB-D图像特征，最后将待识别修正RGB-D图像特征输入到所述多核室内场景分类器模型中，得到分类结果，完成室内场景图像的识别。

进一步的，所述步骤二的具体步骤为：

(1)通过多任务度量学习构建用于衡量两个不同彩色图像或两个不同深度图像的距离的度量函数，距离度量函数为：