[发明专利]手势识别、手势控制及多层神经网络训练方法、装置及电子设备

说明书

本发明实施例提供了一种手势识别、手势控制及多层神经网络训练方法、装置及电子设备。其中，手势识别方法，包括：通过多层神经网络对图像进行手势信息检测，得到所述图像中的手可能区域、手势可能类别及其概率；所述手势可能类别包括：无手势类别以及至少一种手势类别；如果检测得到的最大概率的手势可能类别为所述无手势类别，不输出所述图像的所述手可能区域的位置信息；否则，输出所述图像的所述手可能区域的位置信息以及检测得到的最大概率的手势可能类别。通过本发明实施例，实现了手势的准确识别和跟踪。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种手势识别方法、装置及电子设备，一种手势控制方法、装置及电子设备，以及，一种多层神经网络训练方法、装置及电子设备。

背景技术

随着计算机视觉技术的不断发展，出现了许多新的人机交互技术。其中，用手势控制机器最自然也最具应用价值，同时，用RGB摄像头作为交互媒介是最易普及的远程交互方式。基于RGB图像的手势交互提供了一种远程、非接触式的实时人机交互方式，一定程度上发挥了鼠标、键盘、遥控器、触摸屏这些传统的接触式交互输入设备的功效。

在使用手势进行人机交互过程中，如果高效、准确地进行手势识别成为本领域亟待解决的问题。

发明内容

本发明实施例提供了手势识别、手势控制及多层神经网络训练的技术方案。

根据本发明实施例的第一方面，提供了一种手势识别方法，包括：通过多层神经网络对图像进行手势信息检测，得到所述图像中的手可能区域、手势可能类别及其概率；所述手势可能类别包括：无手势类别以及至少一种手势类别；如果检测得到的最大概率的手势可能类别为所述无手势类别，不输出所述图像的所述手可能区域的位置信息；否则，输出所述图像的所述手可能区域的位置信息以及检测得到的最大概率的手势可能类别。

可选地，所述多层神经网络包括复用网络输入层和部分卷积层的第一神经网络和第二神经网络；所述通过多层神经网络对图像进行手势信息检测，得到所述图像中的手可能区域、手势可能类别及其概率，包括：通过所述第一神经网络检测所述图像中的手可能区域；通过所述第二神经网络检测所述手可能区域中的手势可能类别及其概率。

可选地，所述至少一种手势类别包括：至少一种预定具体手势类别；或者，所述至少一种手势类别包括：至少一种预定具体手势类别和其他手势类别。

可选地，所述手势可能类别包括第一手势可能类别和第二手势可能类别；所述第一手势可能类别包括：有手势类别和无手势类别；所述第二可能手势类别包括：至少两种预定具体手势类别，或者，至少一种预定具体手势类别和其他手势类别；所述如果检测得到的最大概率的手势可能类别为所述无手势类别，不输出所述图像的所述手可能区域的位置信息；否则，输出所述图像的所述手可能区域的位置信息以及检测得到的最大概率的手势可能类别，包括：如果检测到的最大概率的第一手势可能类别为无手势类别，不输出所述图像的所述手可能区域的位置信息；否则，输出所述图像的所述手可能区域的位置信息以及检测得到的最大概率的第二手势可能类别。

可选地，所述第二神经网络包括复用所述网络输入层和部分卷积层的第一子神经网络和第二子神经网络；所述通过多层神经网络对图像进行手势信息检测，得到所述图像中的手可能区域、手势可能类别及其概率，包括：通过所述第一神经网络检测所述图像中的手可能区域；通过所述第一子神经网络检测所述图像中的第一手势可能类别及其概率；通过所述第二子神经网络检测所述图像中的第二手势可能类别及其概率。

可选地，所述通过多层神经网络对图像进行手势信息检测之前，还包括：如果当前视频帧的前一视频帧检测得到的最大概率的手势可能类别不是无手势类别，则至少根据所述前一视频帧输出的手可能区域的位置信息，裁取所述当前视频帧的局部区域，裁取得到的局部区域为输入所述多层神经网络的所述图像。