[发明专利]基于3D点云数据和表观特征的手势识别方法

摘要

本发明提供了一种基于3D点云数据和表观特征的手势识别方法，包括S1、采集手势的3D点云数据；S2、对3D点云数据进行阈值分割并进行灰度转换，得二值图像；S3、预处理二值图像以去除二值图像中空洞及噪声点；S4、基于二值图像提取手势的表观特征；S5、根据手势库中手势样本和待识别手势的表观特征进行手势识别。本发明可同时满足手势识别的精度和时效的要求，具备一定的鲁棒性与普适性，实用性强。

主权项

1.一种基于3D点云数据和表观特征的手势识别方法，其特征是，包括：S1采集手势的3D点云数据，3D点云数据包括各点的三维坐标(x,y,z)；S2对3D点云数据进行阈值分割并进行灰度转换，得二值图像；阈值分割中，考虑3D点云数据采集时手势与相机的相对位置关系，并通过实验调整确定手势区域的坐标范围，根据确定的坐标范围进行阈值分割，获得手势区域；S3预处理二值图像以去除二值图像中空洞及噪声点；S4基于二值图像提取手势的表观特征，表观特征包括伸出手指数、分布特征和相邻伸出手指间角度，本步骤具体为：S4‑1基于二值图像提取手势区域的中心点C；S4‑2构造辅助图形，辅助图形为以中心点C为圆心、r_n为半径的K个共圆心的圆形，或为以中心点C为中心、对角线长2r_n的K个共中心的正方形，正方形方向要保证中心点C(x₀,y₀)到同一正方形上所有点(x_j,y_j)的距离d相等，d定义为：d＝|x_j‑x₀|+|y_j‑y₀|；D为手势区域边缘到中心点C的最大距离，n＝1,2,3...K，8≤K≤12，所得辅助图形从内向外依次编号为辅助图形1、2……K；S4‑3辅助图形k1与手势区域的交点数即伸出手指数，辅助图形k1根据试验确定；S4‑4以辅助图形k2为手掌区域和伸出手指区域的边界，即辅助图形k2内和外的手势区域分别为手掌区域和伸出手指区域，手掌区域和伸出手指区域的面积比即分布特征R；辅助图形k2根据试验确定；S4‑5获得各伸出手指区域与辅助图形k1的相交区域的中心点C'，中心点C'与中心点C的连线记为边，相邻边的夹角即相邻伸出手指间角度；若无相邻边，则不提取相邻伸出手指间角度；S5根据手势库中手势样本和待识别手势的表观特征进行手势识别，本步骤具体为：S5‑1判断待识别手势的分布特征R大小，若0.8＜R，则伸出手指数为0的手势样本为待识别手势的手势，手势识别完成；否则，执行子步骤S5‑2；S5‑2与待识别手势伸出手指数N相同的手势样本即待识别手势的可能手势，若可能手势仅1个，该可能手势即待识别手势的手势，手势识别完成；否则，执行子步骤S5‑3；S5‑3根据可能手势的相邻伸出手指间角度大小或各相邻伸出手指间角度间的大小关系以及形状，确定各可能手势对应的相邻伸出手指间角度或各相邻伸出手指间角度间的大小关系的范围，待识别手势的相邻伸出手指间角度或各相邻伸出手指间角度间的大小关系所落入范围对应的可能手势，即待识别手势的手势。