[发明专利]神经网络模型的训练方法及装置、手势识别的方法及装置

权利要求书

1.一种神经网络模型的训练方法，其特征在于，包括：

将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；

获取所述特征数据与对应的原始数据之间的损失值；

基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。

2.根据权利要求1所述的方法,其特征在于，所述获取所述特征数据与对应的原始数据之间的损失值包括以下至少一项：

获取所述预测的手势热力图与所述样本图像对应的热力图之间的第一损失值；

获取预测的手势关键点的坐标与所述样本图像中手势关键点的坐标之间的第二损失值；

获取所述预测的手势标定框与所述样本图像中手势标定框之间的第三损失值；

获取所述预测的手势类别与所述样本图像中手势类别之间的第四损失值。

3.根据权利要求2所述的方法,其特征在于，所述基于所述损失值更新所述神经网络模型，包括：

基于以下至少一项的和值更新所述神经网络模型：所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值。

4.根据权利要求1所述的方法,其特征在于，所述获取所述特征数据与对应的原始数据之间的损失值包括：

确定所述特征数据与对应的原始数据之间的差值；

对所述差值进行平方，得到所述损失值。

5.根据权利要求1所述的方法,其特征在于，在所述特征数据为预测的手势热力图的情况下，将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据包括：

将所述样本图像对应的热力图输入到所述神经网络模型，经过所述神经网络模型中的卷积层降低所述样本图像对应的热力图尺寸；

对降低尺寸后的所述样本图像对应的热力图进行上采样得到所述预测的手势热力图。

6.一种基于权利要求1至5中任一项训练方法中的神经网络模型进行手势识别的方法，其特征在于，包括：

获取待识别的图像数据；其中，所述图像数据中包括手势；

将所述待识别的图像数据输入到所述神经网络模型中，得到输出结果；其中，所述输出结果用于表征对所述手势的识别结果。

7.一种神经网络模型的训练装置，其特征在于，包括：

第一处理模块，用于将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；

第一获取模块，用于获取所述特征数据与对应的原始数据之间的损失值；

训练模块，用于基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。

8.一种基于权利要求7中训练装置中的神经网络模型进行手势识别的装置，其特征在于，包括：

第二获取模块，用于获取待识别的图像数据；其中，所述图像数据中包括手势；

第二处理模块，用于将所述待识别的图像数据输入到所述神经网络模型中，得到输出结果；其中，所述输出结果用于表征对所述手势的识别结果。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤，或实现权利要求6所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法，实现权利要求6所述的方法步骤。