[发明专利]基于多特征融合与Boosting决策森林的街景图像的语义分割方法

摘要

一种基于多特征融合与Boosting决策森林的街景图像的语义分割方法，包括如下步骤步骤1，对图像进行超像素分割；步骤2，多特征提取；步骤3，特征融合；步骤4，训练学习以及分类识别；本发明将2D特征和3D特征有效的融合在一起，显著的提高了目标的识别率，与现有技术相比，分割结果一致，连通性好，边缘定位准确，引入了Boosting决策森林分类机制，保证了目标分类的稳定性。

主权项

基于多特征融合与Boosting决策森林的街景图像的语义分割方法，其特征在于该方法包括以下步骤：步骤1，对图像进行超像素分割；采用简单线性迭代聚类SILC(simple linear iterative clustering)对图像进行超像素分割；简单线性迭代聚类是对3维的CIELAB颜色空间L、a、b和2维的位置信息特征进行操作，通过调节参数来控制超像素块的数目；表示如下：其中k和i分别为两个像素，Ds表示lab距离和以网格距离归一化的xy空间的距离综合；变量m是一个常数，控制超像素的紧凑程度，可以调节超像素块的大小，当m的值越大时，则空间像素度的权重越大，我们这里选择m＝10，图像分割的超像素数为1000块；图形的梯度公式计算如下：G(x,y)＝||I(x+1,y)‑I(x‑1,y)||2+||I(x,y+1)‑I(x,y‑1)||2    (2)其中I(x,y)表示Lab向量对应的像素点的位置，而||.||表示2范数，同时考虑亮度和位置信息；其中S是步长，N为图像的像素总数，K是分割的超像素个数；简单线性迭代聚类的具体处理步骤：1.1初始化聚类中心；按照步长S采用像素来初始化话聚类中心，在图像中均匀分布聚类中心；1.2将聚类中心移动到邻域内梯度最小的地方，防止聚类中心落在边界上；1.3在每个聚类中心2S*2S范围内，根据距离公式对像素进行K‑means聚类，得到最新的聚类中心；1.4计算新的聚类中心与旧的聚类中心之间的L1范数距离E；1.5进行迭代运算，直到E小于一个很小的阈值，结束运算；步骤2，多特征提取；特征是用来描述图像的最基本的属性；2.1提取超像素块中物体距离地面的高度特征；对于每一块超像素，计算超像素块中物体距离地面的高度，采用超像素块中的所有点到地面的距离之和的平均值；2.2提取曲面法向量特征；利用最小二乘法对超像素拟合一个平面，然后求其法向量；其x轴分量、y轴分量和z轴分量分别作为一维向量特征；2.3提取超像素块中物体相对于摄像头的高度；设在3D坐标系中的y坐标轴的方向是向上的，则现实世界中的一点w相对于摄像机的高度fH可如下表示：fH(w)＝wy‑cy     (4)fH是相对于摄像头的高度,w(x,y,z)是现实世界中的一点的3D坐标，c(x,y,z)是摄像机的3D坐标；2.4提取3D像素块到摄像头的距离特征；通过计算超像素块中心到摄像头的最近距离，这个最近距离作为3D像素块到摄像头的距离；2.5提取3D像素块的不平整度特征；3D像素块的不平整度，以3D点到拟合平面的距离之和为度量值；2.6提取颜色直方图特征；对于被给定的目标0，它在t时刻的HSV颜色直方图特征表示为：其中yi表示HSV每一级别的值；2.7提取深度直方图特征；利用已获得的图像的深度图，分成若干个bin，提取出深度直方图，并且均衡化处理；2.8提取基于灰度直方图的纹理特征；基于灰度直方图的统计矩的纹理特征描述与提取方法是一种纹理统计方法；该方法可以定量的描述区域的平滑、粗糙、规则性的纹理特征；设r为表示图像灰度级的随机变量；L为图像的灰度级数；p(ri)为对应的直方图(其中i＝0,1,2,...,L‑1)；则r的均值m表示为：r关于均值m的n阶矩阵表示为：通过计算9式可知μ0＝1，μ1＝0；对于其他n阶矩阵：(2.8.1)二阶矩阵μ2又称为方差，它是灰度级对比度的量度；利用二矩阵得到有关平滑度的描述因子，其计算公式为：由8式子可知，图像的纹理越平滑，对应的图像灰度起伏越小，图像的二阶矩越小，求得的R值越小；反之，图像的纹理越粗糙，对应的图像灰度起伏越大，图像的二阶矩越大，所求得的R值越大，其中σ为灰度直方图二阶矩阵的标准差；(2.8.2)三阶矩μ3是图像直方图偏斜度的度量，用来确定直方图的对称性；(2.8.3)四阶矩μ4表示直方图的相对平整度；五阶以上的矩和直方图形的联系度不大；步骤3，特征融合；首先使用简单连续特征融合策略将上述多种特征结合；然后使用核PCA算法从融合的特征集中提取出非线性特征，从而将融合的特征集降到一定的维数；具体步骤为：3.1对于一个被给定的目标O，它在t时刻利用连续特征融合策略获得的融合特征向量Fto表示为：Fto是在t时刻目标O的融合特征，是在t时刻目标O的颜色直方图特征，Vto是除颜色直方图外的其它特征；3.2将特征向量Fto映射到一个高维的特征空间K(Fto)，然后在K(Fto)上实施PCA算法，从而获得最终的非线性特征在特征映射到高维空间过程中，使用了高斯核函数；步骤4，训练学习以及分类识别；通过改进决策森林，把单棵随机森林的分类问题转换多棵随机森林全局损耗函数能量最小化问题；在训练的过程中，为每个训练样本分配适当的权重，总是分类正确的样本权值低，分类错误的样本权值高，最终聚合多次训练的弱分类器，也就是针对同一个训练集训练不同的分类器；将最终提取的融合非线性特征送入Boosting决策森林中进行训练学习，然后对街景目标进行分类识别，并且标注对应的标签，最终完成对图像的语义分割；Boosting决策森林的训练步骤：需要数据：设置训练标签训练树的最大层数Dmax，损耗函数选择为正切函数，d是训练树的当前层数，其中d＝1,2,...,Dmax；输出：由若干个弱分类器构成最终的分类器G(x)(4.1)初始化权重和根节点；(4.2)检查所有节点是否符合停止分裂的条件，如果符合就停止分裂；分裂函数s(x；Θ)有两类参数组成，Θ1是特征维数且Θ1∈{1,...,M}，Θ2是一个阈值且Θ2∈R；如果x(Θ1)＜Θ2则s(x；Θ)＝0，其它情况下s(x；Θ)＝1，x是训练样本；(4.3)如果不符合就分裂节点，并且更新权重为下一次迭代做准备，权重公式如下；其中xi是训练样本，t是迭代次数，l(·)是一个可微分的损耗函数，是已经训练好的分类器，fj(x；Θj)是在第j次迭代下的分类器，是已收集的弱分类器参数，Θj是在当前迭代层j下的训练参数，ν是收缩因子；(4.4)重复步骤4.2和4.3，直到d达到Dmax层；分类识别：通过有监督式学习训练Boosting决策森林，输入要标注的图像，预测出类别，并输出完成标注的图像。