[发明专利]一种手势识别方法和装置

权利要求书

1.一种手势识别方法，包括：

获取具有相同预设手势类型、不同手势角度的多张手势图像，并将所述多张手势图像合并为多通道图像；

将所述多通道图像输入预设的卷积神经网络，确定具有预设非线性特征的特征图，所述预设非线性特征包括图像2D空间相关性特征和图像不同通道间手势对象的各种表征信息的相关性特征；

在所述特征图上生成预选框，利用所述预选框预测手势目标在图像中的位置，并根据所述预设非线性特征获得手势识别结果；

其中，所述获取具有相同手势类型、不同手势姿态的多张手势图像，包括：

获取目标手势的灰度图像；

根据预设手势角度的种类，将所述灰度图像旋转预设角度，获得多张手势图像；

采用预设方法将所述灰度图像的局部进行模糊处理，获得手势遮挡图像；

将所述多张手势图像和所述手势遮挡图像，缩放至相同尺寸后合并成一个多通道图像。

2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括多级卷积层，每级卷积层为深度可分离结构，所述深度可分离结构对多个通道的输入图像采用k*k*1的卷积核滑动相乘，确定表示多通道图像2D空间相关性的多个特征图，并对所述多个特征图采用1*1*Cout的卷积核滑动相乘，确定多通道图像不同通道间手势对象的各种表征信息的相关性；其中，k为卷积核的大小，Cout为输出通道数。

3.根据权利要求2所述的方法，其特征在于，所述在所述特征图上生成预选框，利用所述预选框预测手势

目标在图像中的位置，并根据所述预设非线性特征获得手势识别结果包括：

根据所述卷积层的层级，在相应卷积层的特征图上的每个像素点生成相应数量和形状的多个预选框；

根据所述预选框中的图像内容与在所述手势图像上利用标定框预先标定的图像内容的交集与并集的比值，确定满足预设条件的预选框，根据所述预选框中特征图的预设非线性特征确定预选框的位置，以利用所述预选框预测手势目标在图像中的位置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述卷积层的层级，在相应卷积层的特征图上生成相应数量和形状的多个预选框，包括：

根据手势目标在参与预测的各个卷积层的特征图中的占比，确定占比的最大值和最小值；

根据占比的最大值、最小值和卷积层的层级，确定参与预测的卷积层的占比间隔；

根据所述占比间隔、手势目标在卷积层的特征图中的占比值和最小维度值，确定所述卷积层的特征图上生成的预选框的最大尺寸和最小尺寸，所述最小维度根据卷积层的输入图像的尺寸确定。

5.一种手势识别装置，包括：

图像预处理单元，用于获取具有相同预设手势类型、不同手势角度的多张手势图像，并将所述多张手势图像合并为多通道图像；

特征获取单元，用于将所述多通道图像输入预设的卷积神经网络，确定具有预设非线性特征的特征图，所述预设非线性特征包括图像2D空间相关性特征和图像不同通道间手势对象的各种表征信息的相关性特征；

手势识别单元，用于在所述特征图上生成预选框，利用所述预选框预测手势目标在图像中的位置，并根据所述预设非线性特征获得手势识别结果；

其中，

所述图像预处理单元，用于获取目标手势的灰度图像；根据预设手势角度的种类，将所述灰度图像旋转预设角度，获得多张手势图像；采用预设方法将所述灰度图像的局部进行模糊处理，获得手势遮挡图像；将所述多张手势图像和所述手势遮挡图像，缩放至相同尺寸后合并成一个多通道图像。

6.根据权利要求5所述的装置，其特征在于，所述卷积神经网络包括多级卷积层，每级卷积层为深度可分离结构，所述深度可分离结构对多个通道的输入图像采用k*k*1的卷积核滑动相乘，确定表示多通道图像2D空间相关性的多个特征图，并对所述多个特征图采用1*1*Cout的卷积核滑动相乘，确定多通道图像不同通道间手势对象的各种表征信息的相关性；其中，k为卷积核的大小，Cout为输出通道数。