[发明专利]非接触手势交互方法和装置

说明书

本发明属于手势交互技术领域，提供一种非接触手势交互方法和装置。该非接触手势交互方法包括：获取当前用户的待识别手势的手部运动信息，所述手部运动信息包括连续时间内多个手部关键点在作业空间坐标系中的位姿信息；基于所获取的多个手部关键点的位姿信息，执行自定义手势判定，得到手势判定参数；将所述手势判定参数输入手势判定计算模型，输出手势判定结果；基于自构建的交互事件映射库，将所述手势判定结果与所述映射库中交互事件进行匹配，确定与待识别手势相对应的操作。本发明通过构建手势判定计算模型，建立自定义手势判定机制实现对待识别手势的精准判定；通过构建交互事件映射库，将手势判定结果与交互事件相匹配，输出与待识别手势相对应的操作，能够实现手势交互与仿真引擎的解耦合，能够支持按需虚实融合自适应输出。

技术领域

本发明涉及手势交互技术领域，尤其涉及一种非接触手势交互方法和装置。

背景技术

随着信息技术的发展，TS仿真显示领域中三维呈现成为主流。三维TS仿真推演系统构建三维虚拟空间作为真实空间的映射，其中，三维对象具有与真实实体单元相似的物理特征，因此使用新型人机交互的方式与虚拟空间的物体交互，更符合用户与真实空间实体交互的自然认知，选用自然人机交互的方式进行输入输出是较为理想的选择，可以带给用户逼真的沉浸式体验。

现阶段新型自然交互技术主要包括手势交互技术、语音交互技术、脑机接口技术、眼动计算技术等。相较于传统交互方式例如用户通过键盘、鼠标、操纵杆或触摸屏与软件系统交互，新型人机交互更符合人体认知，交互过程更加自然高效。其中以手势作为信息输入的交互方式，作为人体最自然、常用的自然交互手段，具有优异的沉浸性和自然性。将手势识别应用于三维TS仿真应用，通过采集识别人的手部动作将动作映射于虚拟空间中的业务对象，使其实时产生相应的反馈效果，从而实现用户通过手部活动与虚拟世界的真实互动体验。

相较于鼠标键盘的交互是通过键鼠设备点击产生物理信号直接输入确定的指令，人做手势的信号采集不能由人体发送给计算机，而是通过外部设备通过传感器间接采集后再发送，而实时动态手势信息采集时因受光照、复杂背景变化等因素的影响，存在着交互延迟和识别精度不高的问题。此外，在现有军事领域三维TS仿真系统应用中，由于不存在通用空间交互手势语言，不同用户做出的手势动作存在差异，手势识别难度大。不同系统预设过多的空间交互手势，学习手势的成本较高，交互过于复杂，无法做到互联互通；有些空间交互手势存在语义不明或者与人的自然认知偏差较大，使用过程中因对用户认知造成混淆造成用户使用体验感差等问题；面向军事领域信息系统的空间交互手势需要形成与其他行业交互手势的差异化，如行业手语、通用手语，否则使用过程中容易产生歧义；现有军事领域三维TS仿真系统应用的非接触式手势交互机制是为特定系统设计的，无法同时满足支持沉浸式交互和大屏离屏式交互。

现有手势交互方法存在如下问题，预设空间交互手势识别精度不高，鲁棒性较差；预设空间交互手势不符合人自然认知，容易产生混淆；预设空间交互手势过于复杂，学习成本较高；预设空间交互手势通用性较差，无法与其他三维态势仿真应用互联互通；预设空间交互手势扩展性较差，无法满足用户创建自定义手势的需求；预设空间手势判定结果直接驱动资源界面，没有利用三维空间特性，无法同时满足支持沉浸式交互和大屏离屏式交互等。

因此，有必要提供一种改进了的非接触手势交互方法，以解决如上问题，为用户提供更自然、更符合认知的手势交互方式。

发明内容

本发明意在提供一种非接触手势交互方法和装置，以解决现有技术中预设空间交互手势过于复杂，扩展性较差、通用性较差，学习成本较高，识别精度不高，鲁棒性较差；预设空间交互手势不符合人自然认知，容易产生混淆，无法与其他三维态势仿真应用互联互通，也无法满足用户创建自定义手势的需求；预设空间手势判定结果直接驱动资源界面，没有利用三维空间特性，无法同时满足支持沉浸式交互和大屏离屏式交互等的技术问题，本发明要解决的技术问题通过以下技术方案来实现。