[发明专利]神经网络模型的训练方法及装置、手势识别的方法及装置

说明书

本申请实施例提供了一种神经网络模型的训练方法及装置、手势识别的方法及装置，其中，该神经网络模型的训练方法包括：将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；获取所述特征数据与对应的原始数据之间的损失值；基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。通过本申请，解决了现有技术中手势识别的准确率较低的问题。

技术领域

本申请涉及神经网络模型技术领域，特别是涉及神经网络模型的训练方法及装置、手势识别的方法及装置。

背景技术

手势是一种非语言的交流形式，可用于多个领域 例如聋哑人之间的交流，机器人控制，人机交互（Human-Computer Interaction，HCI）, 家庭自动化和医疗应用。目前手势识别已采用许多不同的方式，主要包括：

1）模板匹配，即将待识别手势的特征参数与预先存储的模板特征参数进行匹配，通过测量两者之间的相似度来完成识别任务。例如，将待识别手势和模板手势的边缘图像变换到欧式距离空间，求出它们的Hausdorff（豪斯多夫）距离或修正Hausdorff距离，用该距离值代表待识别手势和模板手势的相似度，识别结果取与最小距离值对应的模板手势。

2）统计分析，即通过统计样本特征向量来确定分类器的基于概率统计理论的分类方法。对于每幅图像提取出指尖和重心特征，然后计算出距离和夹角，对于不同手势分别进行距离和夹角的统计，得到其分布的数字特征，根据基于最小错误率的贝叶斯决策得到用于分割不同手势的距离和夹角的值，得到分类器以后，对于采集的手势图像进行分类识别。

对于上述手势识别的方式存在以下问题：1）对于模板匹配方式，需要大量的人工设计特征操作，且在不同的环境背景下，所考虑的特征较为多样，导致工程量较大，系统实现复杂，从而导致手势识别率较低；2）对于统计分析，虽然允许其定义不同手势类别特点的特征集，估计一个局部最优的线性分辨器，根据手势图像中提取的大量特征识别相应的手势类别，但其学习的效率不高，随着样本量的不断增大，算法识别率的提高不明显，从而导致手识别率较低。

发明内容

本申请实施例的目的在于提供一种神经网络模型的训练方法及装置、手势识别的方法及装置，以解决现有技术中手势识别的准确率较低的问题。具体技术方案如下：

在本申请实施的第一方面，提供了一种神经网络模型的训练方法，包括：将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；获取所述特征数据与对应的原始数据之间的损失值；基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。

在本申请实施的第二方面，提供了一种基于第一方面中训练方法中的神经网络模型进行手势识别的方法，包括：获取待识别的图像数据；其中，所述图像数据中包括手势；将所述待识别的图像数据输入到所述神经网络模型中，得到输出结果；其中，所述输出结果用于表征对所述手势的识别结果。

在本申请实施的第三方面，提供了一种神经网络模型的训练装置，包括：第一处理模块，用于将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；第一获取模块，用于获取所述特征数据与对应的原始数据之间的损失值；训练模块，用于基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。