[发明专利]基于肤色检测和深度学习的视频手势的识别方法及装置

说明书

本发明提供了一种基于肤色检测和深度学习的视频手势的识别方法及装置，其中的方法获取视频数据后，通过预设皮肤色彩特征分割模型进行肤色判别后，分割出皮肤区域，并得到二值化图像，然后对二值化图像进行轮廓提取，提取出手部轮廓，再利用预设手势识别模型对提取出的手部轮廓进行识别。实现了提高手势识别的效率以及精度的技术效果。

技术领域

本发明涉及手势识别技术领域，具体涉及一种基于肤色检测和深度学习的视频手势的识别方法及装置。

背景技术

视频是一种常见的数据类型，而手势则是一种人类常用的肢体语言。近年来，随着计算机视觉和机器学习等相关学科的发展，人机交互技术在人们日常生活中扮演着越来越重要的角色。而人机交互作为计算机科学研究领域中的一个重要组成部分，其发展历程己历经了半个多世纪，并且取得了很多成果。相比于传统的计算机鼠标键盘交互方式，人机交互可以给用户更加方便、快捷、舒适的交互体验。

由于人机交互具有多方面的优点，各种交互技术近年来不断出现，包括表情、手势、动作等交互技术。在这些交互方式中，手势具有方便、直接的特点，因而手势识别也成为了研究的热点领域。手势作为一种符合人类日常交流习惯的表达方式，人们在日常生活中通常会辅以手势来传达一些信息或表达某种的意图。而手势则包括静态手势和动态手势两种类型。起初数据手套成为了研究的热点，用户只需要带上手套并完成手势，计算机就可以根据手指的位置、角度等信息来判断用户的手势，这种方法虽然精度较高，但是用户在使用过程中十分不便，严重影响了手势的自然性，同时数据手套的成本也较高，而且可以识别的手势数量也较少，这导致了其难以被大范围推广。基于数据手套的这些限制，光学标记法诞生了。该方法也可提供良好的识别效果，但仍需较为复杂的设备。使用设备直接检测用户手势的方式虽然使得手势识别的准确度和稳定性得到了提高，但却限制了手势的自然表达方式，而这本身就是手势识别的一大优点，因此这种方法也未能取得令人满意的效果。

而近代才出现的基于视觉的手势识别系统，相比于穿戴设备或光学标记手势识别系统，其能够使操作者不需要佩戴任何设备、以更加自然的方式进行人机交互，同时也能获得较高的精度。这种方法将视频采集设备拍摄到的用户图像信息传输给计算机，然后通过计算机视觉技术进行处理，进而对手势进行识别。这种方法的优势在于：设备成本相对低，而且用户在操作时基本不会受到限制和束缚，给予了用户方便且舒适的交互方式。因此这就成为了手势识别未来的发展趋势，即在自然场景下基于视觉来进行手势识别。

本发明申请人在实施本发明的过程中，发现现有基于视觉的手势识别方法，至少存在如下技术问题：很少采用经验信息，且手势识别效率低、识别精度不高。

发明内容

有鉴于此，本发明提供了一种基于肤色检测和深度学习的视频手势的识别方法及装置，用以解决或者至少部分解决现有技术的方法存在的手势识别效率低、识别精度不高的技术问题。

本发明第一方面提供了一种基于肤色检测和深度学习的视频手势的识别方法，包括：

步骤S1：获取视频数据，所述视频数据由RGB图像构成；

步骤S2：基于预设皮肤色彩特征分割模型，对视频数据进行逐帧处理，分割出皮肤区域，并对皮肤区域对应的图像进行二值化，获得二值化图像；

步骤S3：从二值化图像中提取出手部轮廓；

步骤S4：基于预设手势识别模型对提取出的手部轮廓进行识别，其中，预设手势识别模型由已有的训练数据，采用金字塔池化模块搭配注意力机制训练得到，其中，已有的训练数据包含所需要判别的所有手势类型，金字塔池化模块搭配注意力机制通过增加感受野对手势类型进行细节分类。

在一种实施方式中，步骤S2具体包括：

步骤S2.1：通过预设肤色皮肤色彩特征分割模型，将符合预设条件的区域作为皮肤区域，其中，预设条件为RGB图像的R值大于85、R-B值大于10且R-G值大于10；