[发明专利]一种基于2D视频序列的手势识别及人机交互方法和系统

权利要求书

1.一种基于2D视频序列的手势识别及人机交互方法，其特征在于，包括以下步骤：

S1，获取单目2D视频帧序列图像，并提取该图像中的运动前景；

S2，在所述的运动前景中检测人手，并构建人手的联合特征模型；

S3，预测人手目标出现的位置区域，在该位置区域中利用人手的联合特征模型搜索、定位人手目标，获得人手在当前帧中的位置；

S4，根据人手在当前帧中的位置判断当前的操作模式类型；

S5，对人手进行跟踪，识别当前操作模式下人手的姿态和手势；将所述的姿态和手势转换为相应的指令，实现人机交互。

2.根据权利要求1所述的基于2D视频序列的手势识别及人机交互方法，其特征在于，步骤S2中，在所述的运动前景中通过Haar与LBP的联合特征检测人手。

3.根据权利要求1所述的基于2D视频序列的手势识别及人机交互方法，其特征在于，所述的联合特征模型由颜色、形状、纹理、结构、梯度特征模型中的任意两种或多种融合而成；优选的，所述的联合特征模型由颜色和纹理特征模型通过核函数融合而成。

4.根据权利要求1～3任一项所述的基于2D视频序列的手势识别及人机交互方法，其特征在于，步骤S3具体包括以下步骤：通过对目标人手的轨迹分析，预测人手在当前帧中的位置，以该位置为中心确定目标可能存在的区域；遍历该区域中所有目标人手大小的矩形框，提取每个矩形框的联合特征，与样本库中的样本进行匹配，获得人手在当前帧中的位置，并更新模型样本库。

5.根据权利要求1～3任一项所述的基于2D视频序列的手势识别及人机交互方法，其特征在于，步骤S4具体包括：检测人体的其他部位，并根据人手在当前帧中的位置，区分左右手并预测另一只手出现的位置区域；在该位置区域中利用人手的联合特征模型搜索、定位另一只手；根据搜素、定位结果确定当前的操作为双手模式或单手模式；步骤S5包括：根据当前的操作模式，计算人手在图像中的运动量，并按照非线性映射的方式，映射为当前显示器分辨率下鼠标或键盘的运动量，实现对鼠标或键盘的操控。

6.根据权利要求5所述的基于2D视频序列的手势识别及人机交互方法，其特征在于，步骤S5具体包括：对人手进行跟踪，获取每只手的位置和轨迹，并进行姿态和手势识别；其中，进行姿态识别时，以所述的人手位置为中心，在手掌的最小外接矩形框内，检测当前人手的姿态，并将其与样本库中的姿态进行匹配，若匹配，则输出与该姿态对应的命令，实现人机交互；进行手势识别时，缓存每只手在多帧图像中的位置信息，并进行重采样；将采样得到的轨迹与标准手势模型进行匹配，若相似度大于设定的阈值，则输出该手势对应的命令，实现人机交互。

7.一种基于2D视频序列的手势识别及人机交互系统，其特征在于，包括：

运动前景提取模块：用于获取单目2D视频帧序列图像，并提取该图像中的运动前景；

人手甄选模块：用于在所述的运动前景中检测人手；

目标人手建模模块：用于构建人手的联合特征模型；

目标人手跟踪模块：用于预测人手目标出现的位置区域，在该位置区域中利用人手的联合特征模型搜索、定位人手目标，获得人手在当前帧中的位置；

操作模式识别模块：用于根据人手在当前帧中的位置判断当前的操作模式类型；

姿态、手势识别模块：用于对人手进行跟踪，识别当前操作模式下人手的姿态和手势；

人机交互模块：用于将所述的姿态和手势转换为相应的指令，实现人机交互。

8.根据权利要求7所述的基于2D视频序列的手势识别及人机交互系统，其特征在于，所述的目标人手跟踪模块还包括：

位置区域预测模块：用于通过对目标人手的轨迹分析，预测人手在当前帧中的位置，以该位置为中心确定目标可能存在的区域；

人手位置确定模块：用于遍历该区域中所有目标人手大小的矩形框，提取每个矩形框的联合特征，与样本库中的样本进行匹配，获得人手在当前帧中的位置；

模型样本库更新模块：用于更新模型样本库。