[发明专利]AR设备图像控制方法及系统

说明书

本发明提供一种AR设备图像控制方法及系统，其中的方法包括：通过AR设备上的深度相机采集当前环境下的真实图像数据，并基于真实图像数据建立三维空间模型；对三维空间模型分层处理，对不同分层中的所有物体进行定位，并根据物体的定位结果确定是否存在至少两个相互重叠的目标物体；若存在至少两个相互重叠的目标物体，对目标物体对应的分层配置对应的控制手势，并通过控制手势对对应的分层和/或对应分层上的目标物体进行控制；其中，至少两个相互重叠的目标物体分别位于不同分层上。利用上述发明能够对AR设备中的重叠物体分别进行手势控制，操作简单，体验效果好。

技术领域

本发明涉及增强现实技术领域，更为具体地，涉及一种AR设备图像控制方法及系统。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，其广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”效果。

此外，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在，在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。

目前，在AR显示图像时，虚拟图像会与其他虚拟图像或者真实世界的图像发生重合，在图像重合的情况下，如需要控制被遮挡的图像，需要将遮挡该图像的物体先移除，避免物体重叠，但是操作复杂、耽误时间，导致用户体验感差。

发明内容

鉴于上述问题，本发明的目的是提供一种AR设备图像控制方法及系统，以解决在AR显示图像时，如存在图像重叠的情况，需要前后处理重叠图像，导致用户体验感差等问题。

本发明提供的AR设备图像控制方法，包括：通过AR设备上的深度相机采集当前环境下的真实图像数据，并基于真实图像数据建立三维空间模型；对三维空间模型分层处理，对不同分层中的所有物体进行定位，并根据物体的定位结果确定是否存在至少两个相互重叠的目标物体；若存在至少两个相互重叠的目标物体，对目标物体对应的分层配置对应的控制手势，并通过控制手势对对应的分层和/或对应分层上的目标物体进行控制；其中，至少两个相互重叠的目标物体分别位于不同分层上。

此外，可选的技术方案是，基于真实图像数据建立三维空间模型的过程包括：获取真实图像数据中的真实物体的位置信息，以及AR设备推送至显示界面上的虚拟物体；基于真实物体的位置信息以及虚拟物体，构建虚拟的三维空间模型，三维空间模型中的所有物体包括由真实物体所构建的虚拟物体以及AR设备推送的虚拟物体。

此外，可选的技术方案是，相互重叠的目标物体的数量为两个。

此外，可选的技术方案是，根据物体的定位结果确定是否存在至少两个相互重叠的目标物体的过程包括：基于物体的定位结果，确定物体所在的区域，当不同物体所在的区域之间的重叠区域大于预设阈值时，确定物体为相互重叠的目标物体。

此外，可选的技术方案是，通过控制手势对对应分层和/或对应分层上的目标物体进行控制的过程包括：采集用户的双手姿态信息；基于双手姿态信息确定控制手势；通过控制手势对对应的分层和/或对应分层上的物体进行与控制手势相对应的控制操作。

此外，可选的技术方案是，采集用户的双手姿态信息的过程包括：通过手势识别装置采集用户的双手图像数据；基于预训练的骨骼点识别模型对双手图像数据中的双手进行骨骼点识别，并基于骨骼点识别结果确定双手姿态信息。