[发明专利]一种增强现实交互的方法、装置、电子设备及存储介质

说明书

本公开提供了一种增强现实交互的方法、装置、电子设备及存储介质，其中，该方法包括：获取目标场景的真实场景图像，以及与目标场景对应的三维场景地图；对获取的真实场景图像进行手部检测，确定真实场景图像中手部的图像位姿信息和手部对应的手势类别信息；基于手部的图像位姿信息和三维场景地图，确定手部在世界坐标系下的位姿信息；根据手部在世界坐标系下的位姿信息和三维场景地图，确定手部需要控制的目标物体，并基于手部对应的手势类别信息对需要控制的目标物体执行控制操作。本公开通过图像处理实现了在三维空间内手部对需要控制的物体的自动控制，无需借助第三方工具，操作更加方便。

技术领域

本公开涉及计算机应用技术领域，具体而言，涉及一种增强现实交互的方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术作为一种根据实时计算的摄像机影像的位置及角度，在影像上叠加相应的图像、视频、三维(3-Dimensional，3D)模型以实现虚拟世界与现实世界融合的技术，面向用户提供了一种新的交互体验。

目前，在利用虚拟技术进行人机交互时，可以通过操作输入设备，如鼠标、键盘、触摸屏等对AR对象进行操控。

然而，上述交互方式需要用户手持第三方工具(即输入设备)进行操作，操作较为不便。

发明内容

本公开实施例至少提供一种增强现实交互的方案，其通过图像处理实现了三维空间内手部对需要控制的物体的自动控制，无需借助第三方工具，操作更加方便。

主要包括以下几个方面：

第一方面，本公开实施例提供了一种增强现实交互的方法，所述方法包括：

获取目标场景的真实场景图像，以及与所述目标场景对应的三维场景地图；

对获取的所述真实场景图像进行手部检测，确定所述真实场景图像中手部的图像位姿信息和所述手部对应的手势类别信息；

基于所述手部的图像位姿信息和所述三维场景地图，确定所述手部在世界坐标系下的位姿信息；

根据所述手部在世界坐标系下的位姿信息和所述三维场景地图，确定所述手部需要控制的目标物体，并基于所述手部对应的手势类别信息对所述需要控制的目标物体执行控制操作。

采用上述增强现实交互的方法，通过对获取的真实场景图像的分析，可以确定真实场景图像中的手部在三维场景地图所在世界坐标系下的位姿信息，基于这一位姿信息可以对三维空间内的真实物体、虚拟物体等目标物体进行手部控制，也即，本公开采用手部无接触方式实现了对三维空间内物体的自动控制，解决了使用第三方工具进行控制所带来的操作不便的问题。

在一种可能的实施方式中，基于所述手部的图像位姿信息和所述三维场景地图，确定所述手部在世界坐标系下的位姿信息，包括：

基于所述真实场景图像所在图像坐标系与所述三维场景地图所在世界坐标系之间的转换关系，将所述真实场景图像中所述手部的图像位姿信息转换为所述手部在所述世界坐标系下的位姿信息。

在一种可能的实施方式中，对获取的所述真实场景图像进行手部检测，确定所述真实场景图像中手部的图像位姿信息，包括：

利用预先训练好的手部检测模型，从获取的所述真实场景图像中检测出所述手部的图像位姿信息。

在一种可能的实施方式中，根据所述手部在世界坐标系下的位姿信息和所述三维场景地图，确定所述手部需要控制的目标物体，包括：

对获取的所述真实场景图像进行物体检测，确定所述真实场景图像中的至少一个真实物体；

基于所述三维场景地图，确定检测出的每个所述真实物体在世界坐标系下的位姿信息；