[发明专利]一种基于视觉的手势识别方法及系统

说明书

本发明提供一种基于视觉的手势识别方法，包括以下步骤：获取待测手势图像，并将待测手势图像进行预处理；基于预先训练好的深度神经网络模型，对预处理之后的待测手势图像进行识别，并根据所得的识别结果，确定手势动作。实施本发明，能解决传统手势识别方法计算复杂度较高及精确度较低的问题，从而满足现实应用中的要求。

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种基于视觉的手势识别方法及系统。

背景技术

随着人工智能技术的发展，计算机视觉领域在人体行为识别、目标检测等方面都取得了长足进步，相关技术也逐渐经历从理论研究到应用落地的转变，正慢慢从实验室走向真正的市场。计算性能在不断的提高，使得深度学习的学习速度不断加快，计算机的识别速度也在不断提高，深度学习在工程方面拥有良好的硬件基础，这将导致新的模式和商业模式以及产业结构的深刻变化。

在公司日常的运营中，常常需要多个部门对项目进行开会研讨。然而，基于传统方法只能单一演讲者进行演示，无法让其他参会人员进行点评，难以进行实时讨论，不利于协同会商的高效开展，使得通过应用人工智能技术，基通过手势控制，实现会商演示系统具有良好的应用前景与发展机遇。然而，基于手势识别的实现在线演示系统拥有了完善的理论支持，多人协同交互式增强现实系统应用拥有着扎实的理论基础。因此，基于手势识别，达到多人共同参与点评的会商演示系统具有现实的可行性以及良好的发展机遇。

传统的基于视觉的手势识别，需要对手势图像进行肤色检测做二值化处理，然后进行形态学处理提取轮廓，利用傅里叶描述子图等方式建立手势特征库，最后进行模版匹配达到人机交互鼠标控制的目的，整个过程有三个关键步骤：手势分割、特征提取选择和手势识别。但传统的手势识别模式计算复杂度较高及精确度较低，无法满足现实应用中的要求。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于视觉的手势识别方法及系统，能解决传统手势识别方法计算复杂度较高及精确度较低的问题，从而满足现实应用中的要求。

为了解决上述技术问题，本发明实施例提供了一种基于视觉的手势识别方法，所述方法包括以下步骤：

获取待测手势图像，并将所述待测手势图像进行预处理；

基于预先训练好的深度神经网络模型，对预处理之后的待测手势图像进行识别，并根据所得的识别结果，确定手势动作。

其中，所述待测手势图像采用改进的Mosaic数据增强技术、自适应锚框计算、自适应图像缩放技术及类标签平滑技术进行预处理。

其中，所述采用改进的Mosaic数据增强进行预处理的步骤具体为首先选择多张图片，然后按照指定裁剪和随机排布的方式进行拼接，最后输出拼接的图片；其中，

所述指定裁剪为基于图像中目标框的中心位置进行随机缩放及裁剪，再填充进主体图片，且进一步对目标框的宽度与高度进行交集分析，若目标框50％的内容被裁剪进主体图像，则对目标框位置进行相应修改。

其中，所述采用自适应锚框计算进行预处理的步骤具体为首先在图像中生成多个锚框，然后为每个锚框预测类别以及偏移量，接着根据预测的偏移量调整锚框位置得到预测边界框，最后筛选需要输出的预测边界框。

其中，所述采用自适应图像缩放技术进行预处理的步骤具体为首先确定最小缩放系数，然后根据最小缩放系数得到图片的缩放尺寸，接着利用图片的缩放尺寸得到图片高度两端需要填充的数值，最后根据需要图片高度两端需要填充的数值对图片进行填充。

其中，所述采用类标签平滑技术进行预处理的步骤具体为采用正则化方法对类标签表示进行编码。