[发明专利]一种动态手势序列实时识别方法、系统及装置

说明书

本发明公开了一种动态手势序列实时识别方法、系统及装置，方法包括：分别采集含有待识别对象的彩色图像和深度图像；根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域；在人体区域中进行手部区域的检测与分割，得到手部区域；根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪；根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列；对动态手势序列进行建模和分类。本发明通过深度信息、具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型提升了手势识别的鲁棒性，识别效果好，可广泛应用于人工智能和计算机视觉领域。

技术领域

本发明涉及人工智能和计算机视觉领域，尤其是一种动态手势序列实时识别方法、系统及装置。

背景技术

人机交互(HRI)是一个在计算机视觉中的研究领域。基于视觉的手势识别已经被许多研究人员研究了很多年。然而，由于手势识别在实际应用中的困难(例如复杂的背景和光照条件)，动态手势识别仍然是一个挑战。

一个动态手势识别系统，一般包括手势检测/跟踪模块、手势识别模块、手势建模模块和分类模块。基于颜色信息的肤色分割和二维/三维模板匹配被广泛应用于检测颜色空间中的手部区域。然而，光照对皮肤颜色分布有很大的影响，使其与手工模板的匹配受到复杂背景的严重干扰。近年来，由于引入了深度传感器，使得研究人员能利用深度信息对手部区域进行检测与跟踪，以提高手势识别的性能，使手势识别对凌乱的背景鲁棒性更好。轨迹跟踪是动态手势识别的一个重要步骤，在线的动态手势识别依赖于有效的手势轨迹跟踪，并应用于数学模型如Hidden Markov模型(HMM)、输入输出Hidden Markov模型(IOHMM)、隐式条件随机域(HCRF)等。

然而，目前的手势识别方法并未克服肤色易受光照影响的缺陷，鲁棒性不强，识别效果有待进一步提升。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种鲁棒性强和识别效果好的动态手势序列实时识别方法、系统及装置。

本发明所采取的第一技术方案是：

一种动态手势序列实时识别方法，包括以下步骤：

分别采集含有待识别对象的彩色图像和深度图像；

根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域；

在人体区域中进行手部区域的检测与分割，得到手部区域；

根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪；

根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列；

对动态手势序列进行建模和分类。

进一步，所述根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域这一步骤，具体包括：

使用二维头部模板及距离匹配算法在采集的深度图像中搜索可能的头部区域；

使用带有深度信息的三维头部模板从可能的头部区域中删除不匹配的区域；

使用区域增长算法从删除不匹配区域后的区域中分割得到深度图像的人体区域；

根据深度图像的人体区域计算背景掩码，进而根据背景掩码在采集的彩色图像中分割人体区域。

进一步，所述在人体区域中进行手部区域的检测与分割，得到手部区域这一步骤，具体包括：

采用边缘检测算法计算深度图像的人体区域的二值边缘图像；