[发明专利]基于多任务度量多核学习的室内RGB‑D场景图像识别方法

权利要求书

1.基于多任务度量多核学习的室内RGB-D场景图像识别方法，其特征在于：该方法包括以下步骤：

步骤一，将室内RGB-D场景图像训练集中的每一幅RGB-D场景图像的每一张彩色图像和与彩色图像对应的深度图像通过卷积神经网络分别提取彩色图像特征和对应深度图像特征；

所述彩色图像特征和对应深度图像特征均为全局特征；

步骤二，通过多任务度量学习方法构建映射函数，得到特征映射矩阵，然后将所述彩色图像特征和所述对应深度图像特征同时通过所述特征映射矩阵映射到修正特征空间中，并得到修正彩色图像特征和修正深度图像特征；

步骤三，将所述修正彩色图像特征和所述修正深度图像特征一一对应，然后将所述修正彩色图像特征和所述修正深度图像特征的特征向量拼接为一个特征向量，形成修正RGB-D图像特征；再通过多核学习方法，对修正RGB-D图像特征进行学习，得到多核室内场景分类器模型；

步骤四，通过步骤一将待识别的室内RGB-D场景图像提取待识别彩色图像特征和待识别对应深度图像特征，然后通过步骤二中的所述特征映射矩阵将待识别彩色图像特征和待识别对应深度图像特征映射到修正特征空间中并形成待识别修正彩色图像特征和待识别修正深度图像特征，并将待识别修正彩色图像特征和待识别修正深度图像特征一一对应并拼接成待识别修正RGB-D图像特征，最后将待识别修正RGB-D图像特征输入到所述多核室内场景分类器模型中，得到分类结果，完成室内场景图像的识别。

2.根据权利要求1所述的基于多任务度量多核学习的室内RGB-D场景图像识别方法，其特征在于：所述步骤二的具体步骤为：

(1)通过多任务度量学习构建用于衡量两个不同彩色图像或两个不同深度图像的距离的度量函数，距离度量函数为：

dt(xi,xs)=(xi-xs)T(M0+Mt)(xi-xs)]]>

其中，x_i表示一个彩色图像样本或深度图像样本，x_s表示与x_i不同的一个彩色图像样本或深度图像样本，d_t表示两个不同彩色图像样本之间的马氏距离或两个不同深度图像样本之间的马氏距离；T表示完成同一室内场景识别的任务的数量，且T＝2；M₀表示公共度量矩阵，M_t表示所述完成同一室内场景识别的任务私有的度量矩阵，M₀+M_t表示多任务度量学习中彩色图像或深度图像的度量矩阵，且M₀+M_t＝L^ΤL，L为所述特征映射矩阵；

其中，所述完成同一室内场景识别的任务包括使用彩色图像特征完成室内场景识别的任务和使用对应深度图像特征完成室内场景识别的任务；

t＝1或2，当t＝1时，M₁表示使用彩色图像特征完成室内场景识别的任务私有的度量矩阵，当t＝2时，M₂表示使用对应深度图像特征完成室内场景识别的任务私有的度量矩阵；多任务度量学习中的彩色图像的度量矩阵为M₍₁₎＝M₀+M₁，多任务度量学习中的深度图像的度量矩阵为M₍₂₎＝M₀+M₂；

(2)构造优化函数学习公共度量矩阵M₀和私有的度量矩阵M_t，优化函数为：

minM0,...,MTγ0||M0-I||F2+Σt=1T[γt||Mt||F2+Σi,jdt2(xi,xj)+Σi,j,kξi,j,k]]]> 1

且

dt2(xi,xk)-dt2(xi,xj)≥1-ξi,j,k]]>

ξ_i,j,k≥0

M₀，M₁，...，M_T≥0

其中，x_i表示一个彩色图像样本或深度图像样本，x_j表示与x_i属于同一室内场景类别的另一个彩色图像样本或深度图像样本，x_k表示与x_i属于不同室内场景类别的一个彩色图像样本或深度图像样本，I表示单位矩阵，γ₀和γ_t表示优化项的权重系数，ξ_i,j,k表示松弛变量；

所述优化函数为一个凸函数，通过标准的次梯度下降法优化所述优化函数得到所述公共度量矩阵M₀和所述完成同一室内场景识别的任务私有的度量矩阵M_t；

(3)通过u＝Lu_ori将所述彩色图像特征和所述对应深度图像特征同时通过所述特征映射矩阵映射到修正特征空间中，并得到修正彩色图像特征和修正深度图像特征；

其中，u表示修正彩色图像特征或修正深度图像特征，u_ori表示所述彩色图像特征或所述对应深度图像特征。

3.根据权利要求2所述的基于多任务度量多核学习的室内RGB-D场景图像识别方法，其特征在于：所述步骤三的具体步骤为：

(1)将所述修正彩色图像特征和所述修正深度图像特征一一对应，然后将对应后的修正彩色图像特征和修正深度图像特征的特征向量直接拼接为一个特征向量，形成修正RGB-D图像特征；

(2)将所述修正RGB-D图像特征输入核函数，形成多核学习的最终核K：

K(x,z)=Σj=1EβjKj(x,z),βj≥0,Σj=1Eβj=1]]>

其中，x和z表示任意两个修正RGB-D图像特征，E表示核函数的数目，K_j表示第j个高斯基础核，β_j表示核之间的系数；

(3)将最终核K输入线性分类器进行学习，学习出多核室内场景分类器模型：

f(x)=Σi=1NαiK(x,zi)+b]]>

其中，N表示修正RGB-D图像特征的数量，K表示最终核函数，α_i、b表示学习得到的系数。