[发明专利]手势追踪方法和装置、电子设备、计算机存储介质

权利要求书

1.一种手势追踪方法，其特征在于，包括：

从获取的待识别图像中提取得到至少一个兴趣区域，基于所述兴趣区域获得兴趣图像；所述兴趣区域用于表示存在手部图像的概率超出设定阈值的区域，每个所述兴趣图像对应一个所述兴趣区域；

将所述兴趣图像缩放到预设大小；

利用第一神经网络，对所述缩放后的兴趣图像执行识别操作，获得候选区域，基于所述候选区域获得候选图像；所述候选区域中包括手部图像的概率超出预设阈值，每个所述候选图像对应一个所述候选区域；

基于所述候选图像进行手势追踪，其中，所述手势追踪基于所述候选图像中的手部图像的手势框图像进行，所述手势框图像基于所述候选图像中的手部图像的位置和大小将所述手部图像从所述候选图像中分离获得。

2.根据权利要求1所述的方法，其特征在于，所述从获取的待识别图像中提取得到至少一个兴趣区域，包括：

利用人体识别网络，识别获取的待识别图像中的人体区域，基于所述获得的人体区域获得兴趣区域；所述人体识别网络经过样本人体图像训练获得，所述样本人体图像中标注有人体图像的坐标。

3.根据权利要求1所述的方法，其特征在于，所述从获取的待识别图像中提取得到至少一个兴趣区域，包括：

利用人脸识别网络，识别获取的待识别图像中的人脸区域，基于所述获得的人脸区域获得兴趣区域；所述人脸识别网络经过样本人脸图像训练获得，所述样本人脸图像中标注有人脸图像的坐标。

4.根据权利要求1所述的方法，其特征在于，所述基于所述兴趣区域获得兴趣图像，包括：

基于所述兴趣区域在所述待识别图像中的坐标，将所述兴趣区域从所述待识别图像中分离获得兴趣图像。

5.根据权利要求1所述的方法，其特征在于，利用第一神经网络，对所述兴趣图像执行识别操作，获得候选区域，基于所述候选区域获得候选图像，包括：

利用第一神经网络，对所述兴趣图像执行识别操作，获得包括手部图像的概率超出预设阈值的矩形框的坐标；所述第一神经网络经过样本手部图像训练获得，所述样本手部图像标注有手部图像的坐标；

基于所述矩形框的坐标确定所述矩形框的各边长度，以所述矩形框的长边为边长，以所述矩形框的中心点坐标为中心，获得呈正方形的候选区域；

基于所述候选区域在所述兴趣图像中的坐标，将所述候选区域从所述兴趣图像中分离获得候选图像。

6.根据权利要求1-5任一所述的方法，其特征在于，基于所述候选图像进行手势追踪，包括：

基于所述候选图像识别获得手势坐标信息，基于所述手势坐标信息进行手势追踪；所述手势坐标信息包括手势框坐标和/或关键点坐标。

7.根据权利要求6所述的方法，其特征在于，基于所述候选图像识别获得手势坐标信息，包括：

基于所述候选图像获得所述候选图像中的至少一个手势框图像；

将所述手势框图像输入手势识别网络，经所述手势识别网络输出手势坐标信息、手势分类信息和背景信息；所述手势识别网络经过待处理图像结合权重向量训练获得，所述手势分类信息用于表示所述手势框图像中手势属于多种预设手势中一个预设手势，所述背景信息用于表示所述手势框图像属于前景图像或背景图像；

响应于所述手势识别网络输出的背景信息为前景图像，根据所述手势分类信息输出手势坐标信息。

8.根据权利要求7所述的方法，其特征在于，还包括：

响应于所述手势识别网络输出的背景信息为背景图像，不输出手势坐标信息。

9.根据权利要求7所述的方法，其特征在于，所述基于所述候选图像获得所述候选图像中的至少一个手势框图像，包括：

将所述候选图像输入第二神经网络，经所述第二神经网络对所述候选图像执行卷积操作，获得所述候选图像中的手部图像的位置和大小；

基于所述手部图像的位置和大小将所述手部图像从所述候选图像中分离，获得手势框图像。