[发明专利]互动处理方法及装置

说明书

本发明提供了一种互动处理方法及装置，该方法包括：接收用户手势动作的动态图像；对动态图像进行手势识别，得到动态图像的手势识别结果图像数据；基于该图像数据进行目标检测，确定用户的手形变化和手势运动轨迹；基于手形变化和手势运动轨迹，确定对应的手势以及手势映射的指令；执行该指令。通过对用户上传的包含手势动作的动态图像进行手势识别和目标检测，确定手形变化和手势运动轨迹，确定用户本次手势所代替的指令，执行指令，完成交互，相较于现有技术，不需要专门设备，只需要含有光学摄像头的设备即可，例如手机等轻量级设备，降低了互动成本；且手势可变换，交互方式多样，改善了用户体验感。

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种互动处理方法及装置。

背景技术

随着“元宇宙”概念热度的升温和VR(Virtual Reality，虚拟现实)、AR(AugmentedReality，增强现实)应用场景的快速增加，VR、AR和MR(Mixed Reality，混合现实)中的人机交互就成为了一个十分重要的模块。如何实现人机之间的互动，是对相关的软件及硬件提出的不小的挑战，现在大多数交互是通过硬件来实现的，比如：头戴式VR设备+手柄/VR一体机，通过头戴设备和操作手柄来与游戏系统进行互动。

但设备穿戴不便，且遮挡视线，会给使用者造成极大的不方便，且需要专门的设备才能完成互动，使得人机互动过于依赖设备且成本较高。且交互方式固定，仅能通过点击机械按钮或做出固定动作来完成交互，使得用户体验感不佳。

发明内容

本发明的目的是提供一种降低互动成本，改善用户体验感的互动处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本发明提供一种互动处理方法，包括：

接收用户手势动作的动态图像；

对所述动态图像进行手势识别，得到所述动态图像的手势识别结果图像数据；

基于所述手势识别结果图像数据进行目标检测，确定用户的手形变化和手势运动轨迹；

基于所述手形变化和手势运动轨迹，确定所述手形变化和手势运动轨迹对应的手势以及所述手势映射的指令；

执行所述指令。

第二方面，本发明提供一种互动处理装置，用以降低互动成本，改善用户体验感，其包括：

图像接收模块，用于接收用户手势动作的动态图像；

手势识别模块，用于对所述动态图像进行手势识别，得到所述动态图像的手势识别结果图像数据；

目标检测模块，用于基于所述手势识别结果图像数据进行目标检测，确定用户的手形变化和手势运动轨迹；

映射指令确定模块，用于基于所述手形变化和手势运动轨迹，确定所述手形变化和手势运动轨迹对应的手势以及所述手势映射的指令；以及

指令执行模块，用于执行所述指令。

第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的互动处理方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，响应于所述计算机程序被处理器执行，实施了上述互动处理方法的操作。

第五方面，本发明提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的互动处理方法。