[发明专利]互动处理方法及装置

权利要求书

1.一种互动处理方法，包括：

接收用户手势动作的动态图像；

对所述动态图像进行手势识别，得到所述动态图像的手势识别结果图像数据；

基于所述手势识别结果图像数据进行目标检测，确定用户的手形变化和手势运动轨迹；

基于所述手形变化和手势运动轨迹，确定所述手形变化和手势运动轨迹对应的手势以及所述手势映射的指令；

执行所述指令。

2.根据权利要求1所述的互动处理方法，其特征在于，还包括：

对所述动态图像进行图像变换的预处理，得到处理后的动态图像；

对所述动态图像进行手势识别，得到所述动态图像的手势识别结果图像数据，包括：

将处理后的动态图像输入手势识别模型中，得到手势识别结果图像数据。

3.根据权利要求2所述的互动处理方法，其特征在于，所述手势识别模型是预先建立的，用于对输入的图像进行手掌识别和手掌关键点位置识别，得到手势识别结果。

4.根据权利要求3所述的互动处理方法，其特征在于，预先建立所述手势识别模型包括：

获取多张手势图像，进行手部区域标注和手部关键点位标注，形成训练集；

基于MediaPipe构建用于标注图像中的手部关键点位置的手势识别模型；

利用所述训练集对构建的手势识别模型进行训练，得到所述手势识别模型。

5.根据权利要求4所述的互动处理方法，其特征在于，预先建立所述手势识别模型，还包括：

对所述多张手势图像进行图像增广，得到扩增后的训练集；

利用所述训练集对构建的手势识别模型进行训练，得到所述手势识别模型，包括：

利用扩增后的训练集对构建的手势识别模型进行训练，得到所述手势识别模型。

6.根据权利要求4所述的互动处理方法，其特征在于，将处理后的动态图像输入手势识别模型中，得到手势识别结果图像数据，包括：

将处理后的动态图像按时序拆分成多帧图像；

将所述多帧图像输入预先建立的手势识别模型中，得到每一帧图像的手部关键点位置标注结果图像；

将多帧图像的手部关键点位置标注结果图像，按照时序排列，得到处理后的动态图像的手势识别结果图像数据。

7.根据权利要求1所述的互动处理方法，其特征在于，还包括：

利用抽帧的方式，在所述手势识别结果图像数据进行采样，得到采样后的手势识别结果图像数据；

基于所述手势识别结果图像数据进行目标检测，确定用户的手形变化和手势运动轨迹，包括：

将采样后的手势识别结果图像数据输入目标检测模型中，确定用户的手形变化和手势运动轨迹。

8.根据权利要求1至7任一所述的互动处理方法，其特征在于，基于所述手形变化和手势运动轨迹，确定所述手形变化和手势运动轨迹对应的手势以及所述手势映射的指令，包括：

在预先建立的手势库中查找确定所述手形变化和手势运动轨迹对应的手势以及所述手势映射的指令；

其中，所述手势库中记录有手势标识、手势对应的手形变化和手势运动轨迹以及手势映射的指令之间的关联关系。

9.根据权利要求8所述的互动处理方法，其特征在于，还包括：

接收用户自定义手势需求，确定所述自定义手势标识和所述自定义手势映射的指令；

采集自定义手势的动态图像，形成基础数据集；

对所述基础数据集进行手势识别，得到所述自定义手势的手势识别结果图像数据；

基于所述自定义手势的手势识别结果图像数据进行目标检测，得到所述自定义手势的手形变化和手势运动轨迹；

将所述自定义手势标识、所述自定义手势的手形变化和手势运动轨迹和所述自定义手势映射的指令，存入所述手势库中。