[发明专利]手势识别方法、装置、电子设备及可读存储介质

权利要求书

1.一种手势识别方法，其特征在于，包括：

获取待识别对象的图像数据；

利用预先训练的深度学习检测模型，对所述待识别对象的图像数据进行目标检测，确定手掌区域；

利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果；其中，所述深度学习分类模型在训练过程中，依据类别关联损失函数进行反馈优化，从第S轮训练开始，对于任一训练样本，在利用所述深度学习分类模型得到的预测结果与该训练样本的标注不一致的情况下，该预测结果与标注相似度越高，依据所述类别关联损失函数得到的损失值越大，S为自然数，其中，所述类别关联损失函数用于确定所述深度学习分类模型对相似手势区分能力；

所述类别关联损失函数公式如下：

其中，cls_gt，cls_pred分别表示图像数据的真实类别标签和所述深度学习分类模型预测类别标签，函数G(，)为手势类别关联函数，相同手势的关联函数值为0，不同手势根据相似程度进行定义，函数值在0～0.1之间，手势越相似，关联函数值越高，epoch为训练轮数，即训练集完整训练的次数，表示向下取整函数，start表示类别关联损失函数生效的epoch，L_loss为所述深度学习分类模型的损失函数。

2.根据权利要求1所述的方法，其特征在于，S＞1，且在训练样本的预测结果与该训练样本的标注不一致的情况下，随着训练轮数的增加，依据所述类别关联损失函数得到的损失值分段递增。

3.根据权利要求1所述的方法，其特征在于，所述深度学习检测模型包括静态手势分类模型和动态手势分类模型；

所述利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果，包括：

对于当前帧图像，利用所述预先训练的静态手势分类模型，对该帧图像的手掌区域进行静态手势识别，得到静态手势识别结果；

所述方法还包括：

依据所述当前帧图像以及所述当前帧图像的历史帧图像，利用所述预先训练的动态手势分类模型，进行动态手势识别，得到动态手势识别结果；

依据所述静态手势识别结果和动态手势识别结果，确定最终的手势识别结果。

4.根据权利要求3所述的方法，其特征在于，所述动态手势分类模型的训练流程包括：

利用所述动态手势分类模型，得到N1帧训练样本的卷积层特征；其中，N1为大于1的自然数；

针对所述N1帧训练样本中的首帧训练样本，将该首帧训练样本中的指定位置处的卷积层特征删除，并在所述首帧训练样本中的指定位置处做补0处理，得到首帧训练样本的融合特征；针对所述N1帧训练样本中的非首帧训练样本，利用所述N1帧训练样本中第t帧中的所述指定位置处的卷积层特征替换掉第t+1帧中的指定位置处的卷积层特征，得到各非首帧训练样本的融合特征；

依据所述首帧训练样本的融合特征以及所述各非首帧训练样本的融合特征对所述动态手势分类模型进行训练。

5.根据权利要求3所述的方法，其特征在于，所述动态手势分类模型的训练流程包括：

将包括N2帧的视频段划分为K部分，得到K个子视频段；N2＞K，N2与K均为大于2的自然数；

依次从所述K个子视频段中选取一帧视频图像，得到K帧训练样本；

依据所述K帧训练样本对所述动态手势分类模型进行训练。

6.根据权利要求3所述的方法，其特征在于，所述依据所述静态手势识别结果和动态手势识别结果，确定最终的手势识别结果，包括：

当所述静态手势识别结果与所述动态手势识别结果一致时，将所述静态手势识别结果确定为最终的手势识别结果；

当所述静态手势识别结果与所述动态手势识别结果不一致时，依据预设手势关系状态机，确定所述静态手势识别结果与所述动态手势识别结果之间是否允许转换；所述预设手势关系状态机用于指示静态手势识别结果与动态手势结果之间是否允许转换；

若允许转换，则将所述动态手势识别结果确定为最终的手势识别结果；

若不允许转换，则确定最终的手势识别结果待定。