[发明专利]一种增强现实交互的方法、装置、电子设备及存储介质

权利要求书

1.一种增强现实交互的方法，其特征在于，所述方法包括：

获取目标场景的真实场景图像，以及与所述目标场景对应的三维场景地图；

对获取的所述真实场景图像进行手部检测，确定所述真实场景图像中手部的图像位姿信息和所述手部对应的手势类别信息；

基于所述手部的图像位姿信息和所述三维场景地图，确定所述手部在世界坐标系下的位姿信息；

根据所述手部在世界坐标系下的位姿信息和所述三维场景地图，确定所述手部需要控制的目标物体，并基于所述手部对应的手势类别信息对所述需要控制的目标物体执行控制操作。

2.根据权利要求1所述的方法，其特征在于，基于所述手部的图像位姿信息和所述三维场景地图，确定所述手部在世界坐标系下的位姿信息，包括：

基于所述真实场景图像所在图像坐标系与所述三维场景地图所在世界坐标系之间的转换关系，将所述真实场景图像中所述手部的图像位姿信息转换为所述手部在所述世界坐标系下的位姿信息。

3.根据权利要求1或2所述的方法，其特征在于，对获取的所述真实场景图像进行手部检测，确定所述真实场景图像中手部的图像位姿信息，包括：

利用预先训练好的手部检测模型，从获取的所述真实场景图像中检测出所述手部的图像位姿信息。

4.根据权利要求1-3任一所述的方法，其特征在于，根据所述手部在世界坐标系下的位姿信息和所述三维场景地图，确定所述手部需要控制的目标物体，包括：

对获取的所述真实场景图像进行物体检测，确定所述真实场景图像中的至少一个真实物体；

基于所述三维场景地图，确定检测出的每个所述真实物体在世界坐标系下的位姿信息；

针对每个所述真实物体，在基于该真实物体在世界坐标系下的位姿信息与所述手部在世界坐标系下的位姿信息，确定所述手部与该真实物体之间的相对位姿满足预设条件的情况下，将该真实物体确定为所述手部需要控制的目标物体。

5.根据权利要求4所述的方法，其特征在于，基于所述三维场景地图，确定检测出的每个所述真实物体在世界坐标系下的位姿信息，包括：

基于检测出的每个所述真实物体在所述真实场景图像中的图像信息，在所述三维场景地图中确定与该真实物体匹配的三维模型，将该三维模型在所述三维场景地图中的位姿信息，确定为该真实物体在世界坐标系下的位姿信息。

6.根据权利要求4所述的方法，其特征在于，基于所述三维场景地图，确定检测出的每个所述真实物体在世界坐标系下的位姿信息，包括：

基于所述真实场景图像以及所述三维场景地图，确定拍摄设备在世界坐标系下的位姿信息；

基于检测出的每个所述真实物体在所述真实场景图像对应的图像坐标系下的位姿信息，以及相机坐标系和图像坐标系之间的转换关系，确定每个所述真实物体在相机坐标系下的位姿信息；

基于所述拍摄设备在世界坐标系下的位姿信息，以及每个所述真实物体在相机坐标系下的位姿信息，确定每个所述真实物体在世界坐标系下的位姿信息。

7.根据权利要求1-3任一所述的方法，其特征在于，根据所述手部在世界坐标系下的位姿信息和所述三维场景地图，确定所述手部需要控制的目标物体，包括：

基于所述三维场景地图，确定至少一个目标虚拟物体在世界坐标系下的位姿信息；

在基于所述目标虚拟物体在世界坐标系下的位姿信息与所述手部在世界坐标系下的位姿信息，确定所述手部与所述虚拟物体之间的相对位姿信息满足预设条件的情况下，将所述目标虚拟物体确定为所述手部需要控制的目标物体。

8.根据权利要求4-7任一所述的方法，其特征在于，所述位姿信息包括位置信息以及姿态信息；所述预设条件包括以下条件中的一种或多种：

所确定的所述手部与所述目标物体之间的相对距离小于预设距离；

确定的所述手部与朝向所述目标物体方向之间的相对夹角小于预设夹角。