[发明专利]基于手绘草图的增强现实交互方法和设备

说明书

本发明涉及一种基于手绘草图的交互方法。该方法包括：通过深度相机，获取手的深度图像的帧序列，通过关节分析模块，识别所述深度图像中的手的一个或多个关节，通过手势类型判断模块，确定所述一个或多个关节代表的手势类型，根据不同的手势类型，运行对应的执行模块，完成手绘草图的绘制。通过本发明公开的一个或多个实施例，可以降低手势识别输入过程中的计算力需求、提升计算效力、提升输入复杂图像的用户体验。

技术领域

本发明涉及软件系统领域，尤其涉及一种增强现实的手势交互方法和设备。

背景技术

增强现实技术(Augmented Reality)是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

常见的增强现实的设备包括AR眼镜。AR眼镜的输入一般分成两类，第一类是被动式输入，这种方法是利用相机或者麦克风分析用户的行为，用户不会有意识地主动地做一些事情或者说一些话专门给眼镜做输入，比如AR眼镜上人眼跟踪模块。第二类就是主动式输入，也就是用户会有意识地主动去做一些事情，然后让AR眼镜系统进行分析。目前主动式的输入方式包括两大类：一个是语音输入，另一个是手势输入。

现有的手势输入存在以下缺点：

1.手势的数量都是预先定义的。而预先定义的手势数量的个数都是比较少的，比如10。无法定义输入任意多的手势。

2.对于比较复杂的输入，普通手势输入无法完成。比如需要输入汉字，而汉字一般都是由多个笔划组成的一个序列过程，普通手势识别一般只能识别一个动作，一般对应于一个笔划。这个时候普通手势识别完全无法识别复杂的输入结果。

3.对于预先定义的每一种手势都必须预先得训练。而且在实际用中因为要对全手势进行跟踪和建模，计算量也会比较大。

发明内容

本发明的目的在于提供一种主动式的增强现实交互方法和设备。

一方面，本发明的一个或多个实施方式提供了一种基于手绘草图的交互方法，包括，通过深度相机，获取手的深度图像的帧序列，通过关节分析模块，识别所述深度图像中的手的一个或多个关节，通过手势类型判断模块，确定所述一个或多个关节代表的手势类型，根据不同的手势类型，运行对应的执行模块，完成手绘草图的绘制。由此，用户可以基于根据不同的手势类型，对手绘草图的绘制过程进行控制，可以提高手绘草图输入的准确性，提升用户体验。

在其中一个实施例中，基于手绘草图的交互方法还包括，将所述手绘草图传输到远程服务器的神经网络进行分析，获取所述神经网络的分析结果，展示所述分析结果。由此，通过用户输入的手绘草图的输入，可以向用户输出其感兴趣的信息，并进行后续的交互，提升用户体验。

在另一个实施例中，将所述手绘草图进行分析之前，对所述手绘草图进行滤波处理。由此，可以减少因为用户手势输入中，由手的抖动造成的噪音。

在另一个实施例中，所述执行模块包括：启动绘制模块、点位确认模块、结束绘制模块。进一步，当所述启动绘制模块运行时，追踪所述一个或多个关节的移动轨迹，当所述点位确认模块运行时，记录所述移动轨迹的当前位置，设为关键点，当所述结束绘制模块运行时，停止记录所述移动轨迹。由此，用户可以通过不同执行模块，完成关键点的选取，提升用户体验。进一步，根据所述关键点进行拟合，形成所述手绘草图。通过关键点的拟合，可以减少手绘草图中因为抖动而产生的噪音，提升手绘草图的准确性，提升识别率。

在另一个实施例中，关节分析模块包括手部区分模块和手势回归模块。由此，可以提高关节分析的计算效率，节约算力资源，使得关节分析模块可以在增强现实的交互设备本地运行，提升交互效率，提高用户体验。