[发明专利]一种扫描手势并识别的方法

说明书

技术领域

本发明涉及手势识别技术领域，尤其涉及一种扫描手势并识别的方法。

背景技术

现有技术中的智能设备上逐渐开始配备手势控制的功能，即使用者通过比划指定的手势动作，即可以达到控制智能设备进行相应操作的目的。现有技术中应用在智能设备上的手势控制方案，通常具有以下几个缺陷：

1)在进行手势控制的手势动作识别时，通常要求使用者处在一个背景色相对简单并且统一的环境下，例如处在一个比较黑暗的房间内，这样就导致使用者在进行手势控制时非常麻烦，不利于手势控制方案的应用和普及；

2)在进行手势识别时，由于各种因素的干扰可能会将一些并不试图进行手势控制的手势动作识别进去，从而降低手势识别的准确度；

3)由于一般的图像采集装置(通常为摄像头)中并不存在人手对焦的功能，因此所拍摄的图像中的人手区域可能出现对焦模糊的情况，从而进一步增加手势识别的难度。

发明内容

根据现有技术中存在的上述问题，现提供一种基于景深图像的手指扫描手势并识别的方法的技术方案，具体包括：

一种扫描手势并识别的方法，其中，根据预先输入的训练样本训练得到一用于识别人手形状的识别模型；

所述扫描手势并识别的方法具体包括如下步骤：

步骤S1，通过一图像采集装置采集得到对焦图像；

步骤S2，在所述对焦图像上进行扫描，并应用所述识别模型确定所述对焦图像中存在的所述人手形状的位置，以作为对焦位置；

步骤S3，依照所述对焦位置将所述图像采集装置进行对焦操作，并获取关联于使用者全身的视频数据流，并处理得到关联于所述使用者的各个骨骼 点的骨骼点信息；

步骤S4，根据所述骨骼点信息，确定表示所述使用者的手心位置的手心位置信息与表示所述使用者的手长的手长信息；

步骤S5，根据所述手心位置信息判断所述使用者的手心距离地面的高度是否大于一预设的高度阈值：

若是，则继续执行所述步骤S6；

若否，则退出；

步骤S6，判断得到手掌区域的图像，并对所述手掌区域的图像进行分割裁剪以及进行预处理，得到相应的手部掩膜并输出；

步骤S7，根据所述处理结果，识别出手部的指尖区域，并根据所述指尖区域的几何关系对所述使用者的手势进行识别。

优选的，该扫描手势并识别的方法，其中，所述步骤S1中，所述图像采集装置为景深摄像头；

所述视频数据为关联于所述使用者的全身的景深视频数据。

优选的，该扫描手势并识别的方法，其中，所述步骤S3包括：

步骤S31，采用所述图像采集装置采集包括背景以及所述使用者的全身的景深图像的视频数据流；

步骤S32，将所述视频数据流中包括的每帧的所述景深图像的像素的三维信息进行空间变换，以得到实际空间中的对应的点云信息；

步骤S33，根据每个所述像素对应的所述点云信息，获得每个所述像素与所述景深摄像头之间的距离；

步骤S34，分别根据每个所述像素对应的所述距离，处理得到所述骨骼点信息。

优选的，该扫描手势并识别的方法，其中，所述步骤S4包括：

步骤S41，根据处理得到的关联于所述使用者的各个所述骨骼点的所述骨骼点信息，获得所述使用者的所述手心位置信息；

步骤S42，根据处理得到的关联于所述使用者的各个所述骨骼点的所述骨骼点信息，依照下述公式计算得到所述使用者的身高信息：

其中，H₁表示所述使用者的身高数值，H₂表示背景的像素高度数值，H₃表示所述使用者在被采集的视频图像中的像素高度数值，d表示所述使用者与所述景深摄像头之间的距离数值，θ表示所述景深摄像头在水平方向上的垂直角度数值；

步骤S43，根据预设的人体身高与人体手长之间的对应关系，获得所述使用者的所述手长信息。

优选的，该扫描手势并识别的方法，其中，所述步骤S6包括：

步骤S61，根据所述手心位置信息和所述手长信息，去除所述使用者的手部包括的所有与所述手心位置的距离大于所述手长的一半的像素点的信息，并依据去除后的手部包括的所有所述像素点的信息得到手部数据；

步骤S62，通过K均值聚类算法对处理得到的所述手部数据进行聚类处理，得到经过聚类处理后的所述手部数据；