[发明专利]数据生成方法、装置及电子设备

说明书

本申请公开了一种数据生成方法、装置及电子设备，该方法包括：获取第一图像数据，其中，所述第一图像数据为表示用户所处真实环境的数据；获取目标对象的类别信息和平面信息，其中，所述目标对象为所述第一图像数据中的对象，所述平面信息包括所述目标对象的外表面的信息；获取第二图像数据，其中，所述第二图像数据为包含虚拟对象的数据；根据所述类别信息和所述平面信息，混合所述第一图像数据和所述第二图像数据，生成目标图像数据，其中，所述目标图像数据为包含所述目标对象和所述虚拟对象的数据。该方法可以提升生成的目标图像数据的精细度。

技术领域

本公开涉及混合现实技术领域，更具体地，涉及一种数据生成方法、装置及一种电子设备。

背景技术

目前，混合现实(MR，MixedReality)技术被广泛应用于诸如，科学可视化、医疗培训、工程设计、远程办公操作以及个人娱乐等各种领域，借助于该技术，用户可以在生成的混合有真实环境内容和虚拟内容的场景中，与虚拟对象进行交互，使得用户可以更加理解真实环境中一些关键数据的乐趣。

然而，目前的电子设备生成的混合现实数据往往较为粗糙，例如，仅是识别真实环境中的大型表面，例如，地板、天花板、墙壁等对象的表面，并基于识别到的该类信息，来叠加放置虚拟对象，存在场景精细度不够、影像用户体验的问题。

发明内容

本公开实施例的一个目的是提供一种用于生成混合现实数据的新技术方案，以提升用户使用电子设备时的趣味性。

根据本公开的第一方面，提供了一种数据生成方法，该方法包括：

获取第一图像数据，其中，所述第一图像数据为表示用户所处真实环境的数据；

获取目标对象的类别信息和平面信息，其中，所述目标对象为所述第一图像数据中的对象，所述平面信息包括所述目标对象的外表面的信息；

获取第二图像数据，其中，所述第二图像数据为包含虚拟对象的数据；

根据所述类别信息和所述平面信息，混合所述第一图像数据和所述第二图像数据，生成目标图像数据，其中，所述目标图像数据为包含所述目标对象和所述虚拟对象的数据。

可选地，所述根据所述平面信息和所述类别信息，混合所述第一图像数据和所述第二图像数据，生成目标图像数据，包括：根据所述类别信息，确定所述第二图像数据中的所述虚拟对象与所述第一图像数据中的所述目标对象之间的相对位置关系；根据所述平面信息和所述相对位置关系，将所述虚拟对象渲染至所述目标对象的预设位置处，获得所述目标图像数据。

可选地，所述获取所述目标对象的类别信息和平面信息，包括：将所述第一图像数据输入到目标图像分割模型中，获得所述目标对象的掩膜信息；根据所述掩膜信息，获得所述类别信息和所述平面信息。

可选地，所述根据所述掩膜信息，获得所述类别信息，包括：将所述掩膜信息输入到目标类别识别模型中，获得所述类别信息。

可选地，所述根据所述掩膜信息，获得所述平面信息，包括：根据所述掩膜信息，获得所述目标对象在所述第一图像数据中对应的目标图像块；根据所述目标图像块，获取所述目标对象的关键点在世界坐标系下的目标位置信息，其中，所述关键点包括所述目标对象的角点；根据所述目标位置信息和预设平面拟合算法，获得所述平面信息，其中，所述平面信息包括与所述目标对象的每一平面对应的中心点坐标和平面法向量。

可选地，所述方法应用于电子设备，所述根据所述目标图像块，获取所述目标对象的关键点在世界坐标系下的目标位置信息，包括：根据所述目标图像块，检测所述关键点在所述第一图像数据中的第一位置信息；获取所述电子设备在第一时刻的位姿信息，以及，所述关键点在第二时刻获取到的第三图像数据中的第二位置信息，其中，所述第一时刻包括当前时刻，所述第二时刻早于所述第一时刻；根据所述第一位置信息、所述位姿信息和所述第二位置信息，获得所述目标位置信息。