[发明专利]堆叠场景下合成图像的方法及系统、存储介质、终端设备

说明书

本申请提供一种堆叠场景下合成图像的方法及系统、存储介质、终端设备。本申请通过OpenGL和bullet物理引擎，在图片的合成过程中充分考虑到物体间的堆叠关系，模拟真实情况下零件的堆叠位姿，快速构建用于深度学习的像素级标注图像，极大的减少了手工标注图像的工作量，且可以通过更改相应参数来改变生成图像数据集的规模，单幅图像所包含零件的个数，物体遮蔽率的阈值等，使堆叠场景下合成图像数据具有极强的拓展性。

技术领域

本申请涉及图像合成领域，具体涉及一种堆叠场景下合成图像的方法及系统、存储介质、终端设备。

背景技术

随着计算机计算能力的不断提高，各种深度学习模型的应用越来越广泛。用于图像处理的深度学习模型是具有重要作用的深度学习模型之一，且用于图像处理的深度学习模型具有非常重要的地位。

在训练这些深度学习模型时，需要采集大量的图像样本，即对目标物体进行各种角度、位置地拍摄，进而采集大量图像，其中，目标物体即为实际需要检测的物体，例如，机械臂需要抓取的物体、车辆的车牌等。而在这些图像中，需要标注出目标物体的位置，标注后的图像作为图像样本，用于训练深度学习模型。

标注目标物体位置的方式一般为人工标注，即在采集的图像中，通过人眼确定目标物体的位置，进而进行标注，获得图像本。可见，这种方式是非常浪费人力和时间的，标注效率很低。

因此，本申请提出一种堆叠场景下合成图像的方法及系统、存储介质、终端设备，以解决上述问题。

申请内容

本申请实施例提供一种堆叠场景下合成图像的方法，包括：建立模型文件；通过OpenGL导入所述模型文件至三维仿真场景；通过bullet物理引擎在所述三维仿真场景获取堆叠场景；对所述模型文件的模型分配位姿信息；加载虚拟相机至所述三维仿真场景；以及绘制图像。

在一些实施例中，在建立模型文件的步骤中，包括通过UV映射对所述模型进行贴图，以使所述模型的表面获得纹理。

在一些实施例中，在通过OpenGL导入所述模型文件至三维仿真场景的步骤中，包括通过OpenGL导入所述模型文件至三维仿真场景的世界坐标系中，通过Assipm库将所述模型文件的数据结构转化成Assipm的通用数据结构以获得通用数据，并且将所述模型文件和所述通用数据加载至所述三维仿真场景中。

在一些实施例中，在通过bullet物理引擎在所述三维仿真场景获取堆叠场景的步骤中，包括在所述三维仿真场景中搭建一虚拟容器，并通过bullet物理引擎在所述虚拟容器中创建一符合物理运动规则的虚拟场景，使所述模型能够从定点依据重力落下，相互碰撞，以形成所述堆叠场景。

在一些实施例中，所述位姿信息为六自由度位姿信息，所述六自由度位姿信息包括旋转矩阵R和平移向量t。

在一些实施例中，在加载虚拟相机至所述三维仿真场景的步骤中，所述虚拟相机将所述模型在所述世界坐标系中的位姿信息转换为所述虚拟相机坐标系中的位姿信息。

在一些实施例中，所述图像的信息包括RGB图、分割标注图以及深度图。

本申请实施例提供一种堆叠场景下合成图像的系统，包括：建立模块，用于建立模型文件；导入模块，用于通过OpenGL导入所述模型文件至三维仿真场景；获取模块，用于通过bullet物理引擎在所述三维仿真场景获取堆叠场景；分配模块，用于对所述模型文件的模型分配位姿信息；加载模块，用于加载虚拟相机至所述三维仿真场景；以及绘制模块，用于绘制图像。

本申请实施例提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述的堆叠场景下合成图像的方法。

本申请实施例提供一种终端设备，其包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行上述的堆叠场景下合成图像的方法中的步骤。