[发明专利]基于手绘草图的增强现实交互方法和设备

权利要求书

1.一种基于手绘草图的交互方法，包括，

通过深度相机，获取手的深度图像的帧序列，

通过关节分析模块，识别所述深度图像中的手的一个或多个关节，

通过手势类型判断模块，确定所述一个或多个关节代表的手势类型，

根据不同的手势类型，运行对应的执行模块，完成手绘草图的绘制。

2.根据权利要求1所述的交互方法，还包括，

将所述手绘草图传输到远程服务器的神经网络进行分析，

获取所述神经网络的分析结果，

展示所述分析结果。

3.根据权利要求2所述的交互方法，还包括，

将所述手绘草图进行分析之前，对所述手绘草图进行滤波处理。

4.根据权利要求1所述的交互方法，其中所述执行模块包括，

启动绘制模块、点位确认模块、结束绘制模块。

5.根据权利要求4所述的交互方法，其中，

当所述启动绘制模块运行时，追踪所述一个或多个关节的移动轨迹，

当所述点位确认模块运行时，记录所述移动轨迹的当前位置，设为关键点，

当所述结束绘制模块运行时，停止记录所述移动轨迹。

6.根据权利要求5所述的交互方法，其中，

根据所述关键点进行拟合，形成所述手绘草图。

7.根据权利要求1所述的交互方法，

其中所述关节分析模块包括手部区分模块和手势回归模块。

8.一种增强现实的交互设备，包括：

深度相机，用于拍摄手的深度图像的帧序列，

处理器，

计算机可读介质，用于存储计算机指令，所述计算机指令包含关节分析模块、手势类型判断模块和执行模块，当所述计算机指令被所述处理器执行时，使得所述交互设备：

通过所述深度相机，获取手的深度图像的帧序列，

通过所述关节分析模块，识别所述深度图像中的手的一个或多个关节，

通过所述手势类型判断模块，确定所述一个或多个关节代表的手势类型，

根据不同的手势类型，运行对应的执行模块，完成手绘草图的绘制。

9.一种根据权利要求8所述的交互设备，还包括：

显示装置，

当所述计算机指令被所处处理器执行时，进一步使得所述交互设备：

传输所述手绘草图到远程服务器的神经网络进行分析，

获取所述神经网络的分析结果，

所述显示装置展示所述分析结果。

10.一种根据权利要求9所述的交互设备，当所述计算机指令被所处处理器执行时，还使得所述交互设备：

将所述手绘草图进行分析之前，对所述手绘草图进行滤波处理。

11.一种根据权利要求8所述的交互设备，其中所述执行模块包括，启动绘制模块、点位确认模块、结束绘制模块。

12.一种根据权利要求11所述的交互设备，其中，

当所述启动绘制模块运行时，追踪所述一个或多个关节的移动轨迹，

当所述点位确认模块运行时，记录所述移动轨迹的当前位置，设为关键点，

当所述结束绘制模块运行时，停止记录所述移动轨迹。

13.一种根据权利要求12所述的交互设备，当所述计算机指令被所处处理器执行时，还使得所述交互设备：

根据所述关键点进行拟合，形成所述手绘草图。

14.一种根据权利要求1所述的交互设备，

其中所述关节分析模块包括手部区分模块和手势回归模块。