[发明专利]动态手势的识别方法、装置、设备及计算机可读存储介质

说明书

本申请提供的一种动态手势的识别方法、装置、设备及计算机存储介质，通过获取当前时刻采集的屏幕前的深度图像和彩色图像确定当前时刻的静态手势的类别；基于深度图像确定当前时刻的静态手势的关键点在屏幕坐标系下的第一空间位置；然后通过第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置；基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别，能够实现3D屏交互场景中动态手势的识别。

技术领域

本申请涉及人机交互技术领域，特别地涉及一种动态手势的识别方法、装置、设备及计算机可读存储介质。

背景技术

动态手势是人类日常交流中最直观的一种信息交互手段之一。在人机交互领域中，用户可以通过动态手势将意图传递给机器(计算机、VR/AR设备等)。相比于静态手势，动态手势由空间中一连串的静态手势序列组成，其表达的含义更为广泛，是完全可以替代鼠标、触屏的一种新的人机交互方式，而3D屏交互场景作为典型的人机交互场景，在该场景中实时地对动态手势进行准确识尤为重要，相关技术中通常使用神经网络的算法来对动态手势进行识别，但是神经网络算法需要耗费巨大的算力，很难在移动端或普通PC机上实时运行，无法满足人机交互的实时性需求。

发明内容

针对上述相关技术中的问题，本申请提供一种动态手势的识别方法、装置、设备及计算机可读存储介质。

本申请提供了一种动态手势的识别方法，所述方法包括：

获取当前时刻采集的屏幕前的深度图像和彩色图像；

基于所述深度图像和彩色图像确定当前时刻的静态手势的类别；并基于所述深度图像确定当前时刻的静态手势的关键点在屏幕坐标系下的第一空间位置；

基于所述第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置；

基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别。

在一些实施例中，所述基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别，包括：

基于所述第一空间位置、当前时刻的静态手势的类别和预先建立的手势状态间的转换拓扑图，确定当前时刻的动态手势状态；

基于当前时刻的动态手势状态、第二空间位置、第一空间位置和所述转换拓扑图，确定动态手势的类别。

在一些实施例中，所述转换拓扑图包括：动态手势状态、空间位置、动态手势的类别、静态手势的类别之间关系。

在一些实施例中，所述基于所述第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置，包括：

基于所述第一空间位置采用卡尔曼滤波算法预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置。

在一些实施例中，所述基于所述深度图像和彩色图像确定当前时刻的静态手势的类别，包括：

确定所述屏幕的交互区域对应的所述深度图像中的第一点集；

基于所述彩色图像确定当前时刻的静态手势的第二点集；

基于所述第一点集和所述第二点集确定当前时刻的静态手势在所述交互区域对应的目标点集；

基于所述目标点集确定当前时刻的静态手势的类别。

在一些实施例中，所述确确定所述屏幕的交互区域对应的所述深度图像中的第一点集，包括：

确定所述深度图像中各个点在所述屏幕坐标系下的第一坐标信息；

基于所述第一坐标信息和所述交互区域在所述屏幕坐标系下的第二坐标信息确定第一点集。