[发明专利]一种中国普乐手语编码的手势动作识别方法

摘要

本发明公开了一种中国普乐手语编码的手势动作识别方法，其步骤包括：1首先用摄像头捕获中国普乐手语编码手势动作视频，得到分帧RGB图像序列；2对每一帧图像进行颜色空间转换并确定手势区域；3根据提取的手形边缘轮廓点序列极小值确定拟合圆，并替代掌心区域，再检测出指尖和指根；4以圆心和竖直向下的单位向量为标准，提取每个轮廓点的角度及距离特征；5采用动态时间规整算法对特征进行映射变换，获取某一手势的相似距离特征；6采用多种分类器对手语动作进行识别。本发明能有效识别中国普乐手语编码手势动作，为连续、大规模词汇量的中国手语识别系统提供一种解决方案，同时对推广规范的中国手语具有重要意义。

主权项

1.一种中国普乐手语编码的手势动作识别方法，其特征包括如下步骤：步骤一：利用摄像头捕获中国普乐手语编码的C类手势动作视频并进行分帧处理，得到C类手势动作的手势视频图像帧序列，将任意一类手势动作的手势视频图像帧序列记为F＝[f₁,f₂,…,f_i,…,f_M]，f_i表示任意一类手势动作的第i帧手势视频图像，i＝1,2,...,M；M表示任意一类手势动作的手势动作视频的图像总帧数；步骤二：对所述第i帧手势视频图像f_i从RGB彩色空间转换到HSV空间，得到所述第i帧手势视频图像f_i的色调H分量、饱和度S分量和亮度V分量；根据所述第i帧手势视频图像f_i的肤色特征，设置色调H分量的阈值Th1和饱和度S分量的阈值Th2；根据所述阈值Th1和Th2判断所述第i帧手势视频图像f_i的手势区域：若所述第i帧手势视频图像f_i中的任意一个像素点的色调小于阈值Th1且饱和度大于阈值Th2，则判定相应像素点为手势区域的像素点，并令手势区域的像素点的像素值为“1”；否则，判定相应像素点为非手势区域的像素点，并令非手势区域的像素点的像素值为“0”；从而将第i帧手势视频图像f_i进行二值化处理，得到二值化后的手势视频图像b_i；步骤三：对所述二值化后的手势视频图像b_i进行形态学处理和平滑处理，从而裁剪出手势区域，并将裁剪后的手势区域进行尺度归一化处理，得到手势区域图像I_i；步骤四：提取尺度归一化后的手势区域图像I_i的手形边缘轮廓点序列S_i＝[s_i,1,s_i,2,…,s_i,p,…,s_i,P]，s_i,p表示手势区域图像I_i的第p个手势边缘轮廓点，p＝1,2,...,P，P表示手势区域图像I_i中手势边缘轮廓点的总数；根据手势边缘轮廓点序列S_i的极小值确定拟合圆，并得到拟合圆的圆心(x_i,0,y_i,0)即为所述尺度归一化后的手势区域图像I_i中手势区域的掌心位置；步骤五：用所述拟合圆替代所述尺度归一化后的手势区域图像I_i中的手掌区域，从而生成替代后的手势区域图像I′_i；检测所述替代后的手势区域图像I′_i中满足手指图像像素特性的连通域个数，并作为执行动作时伸出的手指个数N_i；当N_i≥1时，执行步骤六到步骤十；当N_i＝0时，表示无伸出的手指，并执行步骤十一；步骤六：对所述替代后的手势区域图像I′_i重新提取边缘轮廓，得到新的手势边缘轮廓点序列S′_i＝[s′_i，1,s′_i，2,…,s′_i,q,…,s′_i,Q]，s′_i,q表示所述替代后的手势区域图像I′_i的第q个手势边缘轮廓点，q＝1,2,...,Q，Q表示所述替代后的手势区域图像I′_i中手势边缘轮廓点的总数；步骤七：将所述新的手形边缘轮廓点序列S′_i中圆心(x_i,0,y_i,0)正下方处，且距离圆心(x_i,0,y_i,0)最远的轮廓点作为起始点，按照顺时针方向对所述新的手势边缘轮廓点序列S′_i重排序，得到重排序后的手势边缘轮廓点序列S″_i＝[s″_i，1,s″_i,2,…,s″_i,q,…,s″_i,Q]，s″_i,q表示重排序后的手势边缘轮廓点序列S″_i中第q个重排序后的手势边缘轮廓点；并有s″_i,q＝(x″_i,q,y″_i,q)，x″_i,q和y″_i,q分别表示第q个重排序后的手势边缘轮廓点s″_i,q所在像素点的横坐标和纵坐标；步骤八：以竖直向下的单位向量和圆心(x_i,0,y_i,0)为参考，利用式(1)提取第q个重排序后的手势边缘轮廓点s″_i,q的余弦夹角信息θ_i(q)，并利用式(2)提取第q个重排序后的手势边缘轮廓点s″_i,q的距离信息dist_i(q)，从而根据像素点位置的对应关系，得到与重排序后的手势边缘轮廓点序列S″_i一一对应的余弦夹角序列θ_i＝[θ_i(1),θ_i(2),…,θ_i(q),…,θ_i(Q)]和距离序列Dist_i＝[dist_i(1),dist_i(2),…,dist_i(q),…,dist_i(Q)]：步骤九：对所述距离序列Dist_i＝[dist_i(1),dist_i(2),…,dist_i(q),…,dist_i(Q)]进行极大值检测，将距离序列中的N_i个极大值判断为N_i个满足手指图像像素特性的指尖位置距离值，并分别沿着任意一个指尖位置的左右两侧各自检测极大值对应波峰的起点和终点，从而得到相应指尖位置所对应的左右两个指根位置距离值，进而得到N_i个指尖位置所对应的2N_i个指根位置距离值；从任意一个指尖位置分别与其对应的左右两个指根位置之间等间隔选取m个点所代表的距离值，从而选取出M＝2m+3个距离值表征执行动作时伸出的一个手指，进而选出执行动作时伸出的N_i个手指，并形成R＝N_i×M点的指尖指根距离值序列Dist_i'＝[dist_i'(1),dist_i'(2),…,dist_i'(r),…,dist_i'(R)]，r＝1,2,…R；R表示指尖指根距离值序列Dist_i'中距离值的总个数；根据像素点位置的对应关系，从余弦夹角序列θ_i＝[θ_i(1),θ_i(2),…,θ_i(q),…,θ_i(Q)]中挑选出与指尖指根距离值序列Dist_i'对应的R个余弦夹角值，从而形成指尖指根余弦夹角序列θ_i'＝[θ_i'(1),θ_i'(2),…,θ_i'(r),…,θ_i'(R)]；步骤十：以所述指尖指根距离值序列Dist_i'和指尖指根余弦夹角序列θ_i'为基础，分别将两个序列中第r个指尖指根距离值dist_i'(r)和指尖指根余弦夹角值θ_i'(r)对应相乘，从而得到手指角度距离特征ADOF的第r个特征值ft_i,r，进而得到所述第i帧手势视频图像f_i的手指角度距离特征ADOF的R个特征值，记为Ft_ADOF(i)＝[ft_i,1,ft_i,2,…,ft_i,r,…,ft_i,R]，并作为第i帧手势视频图像f_i的第一类特征；根据拟合圆的半径，从所述距离序列Dist_i＝[dist_i(1),dist_i(2),…,dist_i(q),…,dist_i(Q)]中找到手掌区域的距离值，按照等间隔取点的方式从所找出的手掌区域的距离值中选取T个手掌区域的距离值，并与所述R个指尖指根距离值合并，从而形成D＝R+T个包含手掌区域距离值和指尖指根距离值的手势角度距离特征ADOH；记为Fh_ADOH(i)＝[fh_i,1,fh_i,2,…,fh_i,d,…,fh_i,D]，并作为第i帧手势视频图像f_i的第二类特征，其中，fh_i,d表示手势角度距离特征ADOH中第d个特征值，d＝1,2,…D,D表示手势角度距离特征ADOH的总个数；步骤十一：对所述尺度归一化后的手势区域图像I_i提取Harris角点序列；然后利用式(1)和(2)对所述Harris角点序列中第v个序列点提取余弦夹角信息θ_i(v)和距离信息dist_i(v)；再根据步骤十中手指角度距离特ADOF和手势角度距离特征ADOH的构建方式，得到无手指伸出时手势动作的手指角度距离特ADOF和手势角度距离特征ADOH并分别作为第i帧手势视频图像f_i的第一类特征和第二类特征；步骤十二：根据步骤二至步骤十一的处理方法，得到手势视频图像帧序列F中每一帧手势视频图像的第一类特征和第二类特征；步骤十三：采用动态时间规整算法DTW对第i帧和第j帧手势视频图像的第一类特征Ft_ADOF(i)和Fh_ADOF(j)计算相似距离，得到第i帧和第j帧手势视频图像的手指角度相似距离DADOF_i,j，同时对第i帧和第j帧手势视频图像的第二类特征Ft_ADOH(i)和Ft_ADOH(j)计算相似距离，得到第i帧和第j帧手势视频图像的手势角度相似距离DADOH_i,j；步骤十四：从任意一类手势动作的手势视频图像帧序列F选取K帧手势视频图像作为参考样本，从而得到C类手势动作的N_R＝C×K个参考样本；从任意一类手势动作的手势视频图像帧序列F选取除参考样本以外的T帧手势视频图像作为训练样本，从而得到C类手势动作的N_Train＝C×T个训练样本；计算第t个训练样本的第一类特征分别与N_R个参考样本的第一类特征的DTW距离，得到第t个训练样本的手指角度相似距离集合；从而得到N_Train个训练样本的手指角度相似距离集合；计算第t个训练样本的第二一类特征分别与N_R个参考样本的第二类特征的DTW距离，得到第t个训练样本的手势角度相似距离集合；从而得到N_Train个训练样本的手势角度相似距离集合；步骤十五：将N_Train训练样本的手指角度相似距离集合和手势角度相似距离集合分别输入分类器中进行训练，得到手指角度分类器模型和手势角度分类器模型；从而利用所述手指角度分类器模型和手势角度分类器模型实现C类手势动作的识别。