[发明专利]一种基于多核学习异构特征融合的手势识别方法

摘要

本发明涉及一种基于多核学习融合异构特征的手势识别方法，包括以下步骤对手势图像进行手势分割，提取分割后手势图像的三种不同类型的特征，生成特征描述子，利用支持向量机的核函数生成三种特征的基础核，根据核函数的相关理论将三种基础核加权融合为融合核，利用多核学习算法计算基础核的最佳融合权值和支持向量机的分类模型。通过求取的融合核，利用训练好的支持向量机模型判别未知类别的手势的所属类别，实现手势识别。本发明将核函数理论与多核学习算法相结合，实现了图像异构特征的融合，增加了支持向量机用于手势识别的泛化能力，提高了识别多类手势的识别率。

主权项

一种基于多核学习异构特征融合的手势识别方法，其特征在于包括以下步骤：步骤1，在带有手势的图像中进行手势分割；步骤2，对定位后的手势图像进行特征提取；步骤3，利用提取的特征构建基础核并加权融合基础核；步骤4，利用多核学习算法训练支持向量机，得到最优融合权值和支持向量机最优分类超平面；通过构建未知类别的手势图像的融合核和训练好的支持向量机判别手势所属类别，实现手势识别；所述的步骤1中，通过摄像头拍摄手势图像，收集不同人的不同手势图像训练图像集，预先设置训练集中各类手势的含义；对拍摄的所有手势图像进行分割处理，首先，对图像进行光照补偿处理；然后，采用设定HSV颜色空间阈值的方法分割手势区域；分割后的手势图像背景为黑色人手部分为彩色；最后，将图像灰度化，以便后续特征提取；所述的步骤2中：步骤2.1，提取手势图像的形状上下文特征；步骤2.2，构建图像金字塔，并提取图像金字塔中每层手势图像的梯度方向直方图特征；步骤2.3，提取手势图像的特征包特征；所述的步骤3中，步骤3.1，通过Chamfer距离和直方图相交核构建三种特征的基础核；①Kpoint(x,y)＝g(xsc,ysc)其中，xsc和ysc是图像的形状上下文描述子，Kpoint(x,y)为形状上下文特征的基础核；②其中，xhog和yhog是图像的梯度方向直方图特征的描述子，为第l层梯度方向直方图特征的基础核；③Kapp(x,y)＝Kint(xbof,ybof)其中，xbof和ybof是图像的特征包特征的特征向量，Kapp(x,y)为特征包特征的基础核；步骤3.2，利用核函数理论将特征内和特征间的基础核融合；特征内基础核的融合，即对图像金字塔中各层图像的梯度方向直方图特征的基础核进行融合：Kshape(x,y)=Σl=1mγlKshape(l)(x,y)]]>其中，γl为融合权值，为第l层图像的基础核，m为图像金字塔的总层数；不同特征的融合核为：Kopt(d,γ)=Σf=1ndfKfopt(xf,yf)]]>Kopt(d,γ)=d1Kpoint(x,y)+d2Kshape(x,y)+d3Kapp(x,y)=d1Kpoint(x,y)+d2Σl=13γlKshape(l)(x,y)+d3Kapp(x,y)]]>其中Kopt是融合后的核，Kfopt是第f特征个基础核，df是融合权值，n为基础核函数的个数；所述利用融合核训练支持向量机，多核支持向量机的问题原型为：min(df,αl)T(df,γl)]]>T(df,γl)=minw,b,ξi12||w||2+CΣi=1Nξis.t.yi[<φ(xi),w>+b]≥1-ξi,,ξi≥0,i=1,2,...,N]]>其中，限制条件为df≥0；为了采用梯度下降法求解这个问题，需要求解T对df和γl梯度；转化为对偶问题为：W(df,γl)=maxa-12Σi,jaiajyiyjKopt(xi,xj)+Σiais.t.0≤ai≤CΣiaiyi=0]]>T对γl和df导数与W对γl和df相等，于是可得：∂T∂γl=∂W∂γl=-12d2a*T∂(YKshapeY)∂γla*=-12d2a*TYKshape(l)Ya*]]>∂T∂df=∂W∂df=-12a*T∂(YKoptY)∂dfa*=-12a*TYKfoptYa*]]>利用梯度下降法求解最优融合权值和支持向量机最优分类超平面；初始权值为γl＝1，df＝1；固定df＝1保持不变，开始迭代γl；每次权值γl更新为：γl(n+1)=max[0,γl(n)-λn∂T∂γl]=max[0,df(n)+λn2d2a*TYKshape(l)Ya*]]]>其中，γf(n+1)为第n+1次的特征内融合核的权值，λn为迭代步长，采用最优步长法确定；迭代停止条件为判别函数收敛；当求取所有的γl后，固定γl，用同样的迭代方法求取权值df；当得到权值γl和df后，便能确定融合核Kopt；利用该融合核训练支持向量机；最终，求得的最优分类超平面：f(x,a*,b*)=sgn(Σi=1nyiai*Kopt(xi,x)+b*)]]>所述通过构建未知手势图像的融合核和训练好的支持向量机判别手势所属类别包括以下步骤：通过计算未知类别手势图像的基础核和求得的最优融合权值计算融合核Kopt(xi,x)；如果则判别输入样本为+1类，否则为‑1类；其中，yi为类别标签；为Lagrange乘子的最优解；所述的手势类别为多类时采用一对一的判别方法。