[发明专利]手势识别方法及装置

说明书

技术领域

本发明涉及手势识别技术，尤其涉及一种手势识别方法及装置。

背景技术

基于视觉的体感交互技术近年来越来越多地受到研究人员的关注，特别是当微软发布能够支持全身动作姿态识别的体感交互装置方案Kinect以来，更让广大研究人员看到了体感交互技术未来的应用前景。近年来有大量学者、研究机构和相关企业在从事体感交互方面的探索与研究，大致可分为两个方面：一为近景动作交互，捕获区域和对象较小，集中在手部姿态，如SixthSense等；一为全身动作交互，动作的幅度也更大，需要更大的捕获区域和软硬件处理能力，但用户与虚拟空间的联系感更为强烈，如Kinect、Wii以及一些大型虚拟实境系统。

实时姿态估计技术是体感交互的关键技术之一，一直是计算机视觉与多媒体领域内的热点。姿态估计技术指从视频或图片中，提取和估计人物的姿态。在具体交互语境中，系统就能够根据姿态结合上下文识别具体的动作语义。

传统的基于色彩光度图的姿态估计技术，容易受光照等多种环境因素的影响，很难同时达到对实时性能与精度的较高要求，并且鲁棒性不佳。深度相机能够直接提供拍摄场景的较准确空间信息，这大大降低了姿态估计的难度。

微软的体感交互装置Kinect使用对运动轨迹的方向判断、预测进行手势动作的识别，该方法虽然能够准确的识别出手势动作，但计算量大、耗时久，不能在基于JAVA的Android平台平板电脑、以及IPTV的电视机顶盒上使用。同时，微软的骨架聚合识别工具NITE中间件并未对外开源，在动作识别的开发上存在困难。

发明内容

有鉴于此，本发明的主要目的在于提供一种手势识别方法及装置，能快速、准确的识别出体感动作，适用于计算性能并不强大终端如电视机顶盒中。

为达到上述目的，本发明的技术方案是这样实现的：

一种手势识别方法，包括：

实时获取人体深度图片，使用阈值分割背景而确定人物位置，再通过基于平滑度约束的区域生长提取精确深度人像轮廓；

基于随机森林模型计算深度人像轮廓的每个像素的深度特征，形成特征向量，再通过随机森林模型确定每个像素的部位标识概率；

基于每个像素对应的人体部位及其概率，滤除识别噪点，聚合生成骨架节点；

记录骨架节点的时序序列形成骨架运动轨迹；

抽取人体手部节点的运动轨迹与预定义的模板进行匹配，识别出手势动作类型。

优选地，基于随机森林模型计算深度人像轮廓的每个像素的深度特征之前，所述方法还包括：

捕捉常见的人体基本动作并存储为样本动作；

对所述样本动作进行关键帧聚类，剔除重复和相似的动作，得到最终的训练动作；配合不同的人体模型，对训练动作进行图形渲染生成初步的深度图及相应部位标识图；

对所生成的深度图进行重采样、加噪处理，合成与实时采集的深度图相似的样本；

利用合成样本计算对应深度特征向量，训练得到随机森林模型。

优选地，所述利用合成样本计算对应深度特征向量，训练得到随机森林模型，包括：