[发明专利]一种基于深度图像的手势识别方法与系统

摘要

本发明公开了一种基于深度图像的手势识别方法，训练数据集和测试数据集中的深度图像通过深度传感器采集得到，首先计算图像中人体区域的最小深度值，再利用深度阈值，结合人手是离传感器最近物体的预设条件，分割出深度图像中的手势；然后获取手势在三个正交平面上的投影图，分别称为正视投影图、侧视投影图和顶视投影图；接着提取三个投影图的轮廓片段包特征，并级联成原始深度手势的特征向量；最后训练分类器，对从待识别深度图像中获取的手势特征向量进行分类，得到待识别手势的识别结果。本发明还提供了相应的手势识别系统。本发明方法手势识别简单易行，推广能力强，识别准确率高，能有效克服杂乱背景、光照、噪声及自遮挡等不利因素的影响。

主权项

一种基于深度图像的手势识别方法，其特征在于，所述方法包括下述步骤：(1)分割出训练图像中的手势区域：(1.1)对每张训练图像，找到人体区域离传感器的最短距离，亦即训练图像中人体区域离传感器最近的点到传感器的距离；其中所述训练图像携带有人体区域的深度信息；(1.2)设置深度阈值，根据所述深度阈值和步骤(1.1)中得到的最短距离，并结合人手是离传感器最近物体的预设条件，确定深度图像中的感兴趣范围，选取落在该感兴趣范围内的点的集合，即为手势区域；(2)获取手势在三个正交平面上的投影：(2.1)确定深度手势投影的坐标系统，即确定三个正交平面；(2.2)获取手势深度图中的任意点在三个正交平面上的正视投影、侧视投影和顶视投影，其中手势深度图为与原始训练图像相同大小的图像，手势深度图中包括原始训练图像中的手势区域，而其他非感兴趣范围全部被剔除；(2.3)对手势深度图的正视投影图、侧视投影图和顶视投影图进行初始化；(2.4)在初始化投影图的基础上，按照预设判定规则获取二值的正视投影图、侧视投影图和顶视投影图；(2.5)从步骤(2.4)获取的三个投影图中切割出包含手势的区域；(2.6)移除每个投影图中的内部空隙和噪声，获取最终的三个手势深度投影图；(3)计算三个手势深度投影图的轮廓片段包特征：(3.1)获取每个手势深度投影图外轮廓的简化多边形，并将其分解成有意义的轮廓片段；(3.2)使用形状上下文描述符来表述每一个轮廓片段，获取轮廓片段特征，从而得到手势深度投影图的基本描述子作为特征向量；(3.3)将轮廓片段的特征向量映射到一个高维空间中，在这个高维空间中将轮廓片段特征描述为形状码；(3.4)在形状码的基础上，融合轮廓片段特征之间的空间关系，建立一个紧凑的形状表达，得到各个投影图轮廓片段包特征向量；(4)训练手势分类器：(4.1)将步骤(3)中获取的正视投影图、侧视投影图和顶视投影图的轮廓片段包特征向量级联成原始深度手势的特征向量；(4.2)利用所有训练图像的深度手势的特征向量训练支持向量机分类器；(5)识别待识别的手势图像：(5.1)按照步骤(1)检测出待识别深度图像中的手势区域；(5.2)按照步骤(2)获取待识别手势在三个正交平面上的投影；(5.3)利用步骤(3)和(4.1)获取待识别手势的特征向量；(5.4)利用步骤(4)中训练好的支持向量机分类器，对待识别手势的特征向量进行分类，并得到手势图像的识别结果。