[发明专利]手势识别、手势控制及多层神经网络训练方法、装置及电子设备

权利要求书

1.一种手势识别方法，包括：所述方法利用多层神经网络，所述多层神经网络包括复用网络输入层和部分卷积层的第一神经网络和第二神经网络；

通过所述第一神经网络检测图像中的手可能区域；所述第一神经网络由正样本训练得到，所述手可能区域为所述图像中包含手的区域或者为所述图像中不包含手的区域；

通过所述第二神经网络检测所述手可能区域中的手势可能类别及其概率；所述手势可能类别包括：无手势类别以及至少一种手势类别；

如果检测得到的最大概率的手势可能类别为所述无手势类别，不输出所述图像的所述手可能区域的位置信息；否则，输出所述图像的所述手可能区域的位置信息以及检测得到的最大概率的手势可能类别。

2.根据权利要求1所述的方法，其中，

所述至少一种手势类别包括：至少一种预定具体手势类别；或者，

所述至少一种手势类别包括：至少一种预定具体手势类别和其他手势类别。

3.根据权利要求1所述的方法，其中，

所述手势可能类别包括第一手势可能类别和第二手势可能类别；所述第一手势可能类别包括：有手势类别和无手势类别；所述第二可能手势类别包括：至少两种预定具体手势类别，或者，至少一种预定具体手势类别和其他手势类别；

所述如果检测得到的最大概率的手势可能类别为所述无手势类别，不输出所述图像的所述手可能区域的位置信息；否则，输出所述图像的所述手可能区域的位置信息以及检测得到的最大概率的手势可能类别，包括：如果检测到的最大概率的第一手势可能类别为无手势类别，不输出所述图像的所述手可能区域的位置信息；否则，输出所述图像的所述手可能区域的位置信息以及检测得到的最大概率的第二手势可能类别。

4.根据权利要求3所述的方法，其中，所述第二神经网络包括复用所述网络输入层和部分卷积层的第一子神经网络和第二子神经网络；

所述通过所述第二神经网络检测所述手可能区域中的手势可能类别及其概率，包括：

通过所述第一子神经网络检测所述手可能区域中的第一手势可能类别及其概率；

通过所述第二子神经网络检测所述手可能区域中的第二手势可能类别及其概率。

5.根据权利要求1-4任一项所述的方法，其中，所述通过所述第一神经网络检测所述图像中的手可能区域之前，还包括：

如果当前视频帧的前一视频帧检测得到的最大概率的手势可能类别不是无手势类别，则至少根据所述前一视频帧输出的手可能区域的位置信息，裁取所述当前视频帧的局部区域，裁取得到的局部区域为输入所述第一神经网络的所述图像。

6.根据权利要求5所述的方法，其中，所述至少根据所述前一视频帧输出的手可能区域的位置信息，裁取所述当前视频帧的局部区域，裁取得到的局部区域为输入所述第一神经网络的所述图像，包括：

基于所述位置信息拉大所述前一视频帧输出的手可能区域；

根据拉大后的手可能区域进行所述当前视频帧的局部区域裁取，裁取得到的局部区域为输入所述第一神经网络的所述图像。

7.根据权利要求5所述的方法，其中，所述至少根据所述前一视频帧输出的手可能区域的位置信息，裁取所述当前视频帧的局部区域，裁取得到的局部区域为输入所述第一神经网络的所述图像，包括：

基于所述位置信息拉大所述前一视频帧输出的手可能区域；

将拉大后的手可能区域相对所述位置信息的不同方向分别偏移一预定距离并分别进行裁取；

对裁取得到的多个手可能区域分别进行手势信息检测，并确定手势可能类别为无手势类别的概率最小的手可能区域为输入所述第一神经网络的所述图像。