[发明专利]基于实例分割的三维重建方法、系统、存储介质及终端

说明书

本发明公开了基于实例分割的三维重建方法、系统、存储介质及终端，方法包括提取目标图像的特征信息；获取目标图像的掩膜特征；将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征并进行聚合处理，生成目标图像的三维网格模型。本发明将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征，使目标图像的三维网格模型生成过程中仅关注图片中包含目标对象的那一小块区域特征，目标对象不会受到图片中复杂背景的影响，即实现了图像中前景目标与背景对象的精准分割，对目标图像的对应区域特征进行聚合处理，即可实现低成本、快速地从单张真实室内场景图像中生成目标对象的三维网格模型，适用范围广，实用性强。

技术领域

本发明涉及图像三维重建技术领域，尤其涉及一种基于实例分割的单幅图片中目标对象的三维重建方法、系统、存储介质及终端。

背景技术

对室内场景中的家具对象进行三维重建是3D游戏开发、AR/VR内容生成、家装、租房、VR看房等领域的重要部分，其效率和成本都是相关从业人员非常重视的问题。传统方法对真实室内场景中的家具对象进行三维重建需要专业人员先从包含家具对象的图片中找出需要建模的家具对象，再通过专业的3D建模引擎进行设计、建模、渲染等步骤才能得到精细的三维模型，这类方法往往需要大量的人力成本和时间成本。此外，使用基于Alice视觉摄影测量计算机视觉框架的三维重建软件MeshRoom，可以从一组无序的照片或视频中推断出家具的几何结构，这类方法需要专门学习如何操作该软件，并且需要非常强大的GPU资源来进行建模和渲染。

为减少人力成本和时间成本，相关研究人员开始尝试使用深度学习来进行三维重建，此类方法主要针对于无背景的RGB图片，即图片中只有需要建模的家具对象，不能受到复杂背景的干扰。然而，包含家具对象的图片基本都是真实室内场景，包含大量的背景对象，在复杂背景的干扰下，此类方法不能明确需要建模的家具对象，无法实现快速三维建模。此外，为解决背景对象对前景目标即家具的干扰问题，可通过人工从真实图片的复杂背景中分割出需要三维重建的家具对象，该方法耗时费力，显然不符合当下对三维重建的效率要求。

发明内容

本发明的目的在于克服现有技术中对单张图片中目标对象如家具进行三维重建的方法存在的需要耗费大量的人力成本、时间成本来学习、设计、建模以及渲染的问题，且现有基于深度学习的三维重建方法不能在单张真实室内场景的RGB图片中正确找到复杂背景下的目标对象并对其进行三维建模的问题，提供了一种基于实例分割的三维重建方法、系统、存储介质及终端，实现低成本地、快速地、明确地从单张真实室内场景图片中生成家具对象的三维网格模型。

本发明的目的是通过以下技术方案来实现的：基于实例分割的三维重建方法，方法具体包括：提取目标图像的特征信息；根据目标图像的特征信息获取目标图像的掩膜特征；将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征，并对目标图像的对应区域特征进行聚合处理进而生成目标图像的三维网格模型。

作为一选项，所述获取目标图像的掩膜特征具体包括：对目标图像的特征信息依次进行卷积、反卷积、卷积处理，进而得到目标图像的掩膜特征。

作为一选项，所述将目标图像的特征信息、掩膜特征进行拼接得到目标图像的对应区域特征具体包括：对目标图像的特征信息、掩膜特征进行拼接并依次进行卷积、最大池化处理，进而得到目标图像的对应区域特征。

作为一选项，所述生成目标图像的三维网格模型过程中采用一个固定的椭球根据目标图像的对应区域特征形变为目标三维模型，并通过损失函数约束初始椭球面形变成目标三维模型，损失函数的计算公式具体为：

L_total＝L_cls+L_box+L_mask+λ_cd·L_cd+λ_norm·L_norm

+λ_edge·L_edge