[发明专利]一种基于语义识别的三维模型重建方法及系统

说明书

本发明公开一种基于语义识别的三维模型重建方法及系统，该方法步骤包括：S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；S02.根据图像特征以及点云特征建立关联图编码器，将图像特征与点云特征编码成融合特征，得到目标物体的语义识别特征；S03.将语义识别特征输入至预先构建的三维模型数据库中，得到语义识别特征模板；S04.将语义识别特征以及语义识别特征模板输入至预先构建的解码器网络中，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。本发明具有实现方法简单、成本低且重建效率以及精度高且灵活性强等优点。

技术领域

本发明涉及三维模型建立系统技术领域，尤其涉及一种基于语义识别的三维模型重建方法及系统。

背景技术

三维模型重建即为对三维物体建立适合计算机表示和处理的数学模型,是实现在计算机环境下对三维物体进行处理、操作和性质分析的基础。针对于三维模型重建，现有技术中通常是采用以下三种方式：

1、基于多视图的三维稠密重建

该类方法是从具有一定重叠度的多视图视角中恢复场景稠密结构，如先利用几何、光学一致性构造匹配代价，进行匹配代价累积后，再估计深度值，实现多视图的三维稠密模型重建。但是该类基于多视图的三维稠密重建方式对图像视角覆盖要求较高，在实际工况下难以采集到满足条件数据，而直接使用不满足条件的数据进行三维稠密重建会存在极大困难。

2、基于图像序列的三维稀疏重建

该类方法是利用相机运动轨迹来估算相机参数，基于图像序列实现三维稀疏模型重建。如先通过相机在不同视点摄取多幅图像，利用这些图像计算出相机的位置信息以及运动轨迹，从而在空间坐标系下生成三维点云，恢复出物体的空间结构。但是该类基于图像序列的三维稀疏重建对图像数据对图像数量要求较高，即需要依赖于大量图像才能完成重建，而在实际工况下就难以采集到足够数量的图像，使得无法完成三维重建。

3、人工三维建模

该类方法通常是通过相机对场景内的信息进行记录，然后以人工CAD方式对场景的3D模型进行绘制，然后构建光照和视角模型，在VR(虚拟现实)类模型中进行应用。上述人工三维建模方式，不仅实现复杂且效率低，实际难以大规模应用。

综上，现有技术中三维模型重建方法要么对输入数据对要求较高，要么需要依赖于人工手动操作，均难以兼顾实现的复杂程度以及效率。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、重建效率以及精度高、灵活性强的基于语义识别的三维模型重建方法及系统。

为解决上述技术问题，本发明提出的技术方案为：

一种基于语义识别的三维模型重建方法，步骤包括：

S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；

S02.根据所述图像特征以及点云特征建立关联图编码器，由所述关联图编码器将所述图像特征与所述点云特征编码成融合特征，得到目标物体的语义识别特征；

S03.将步骤S02得到的所述语义识别特征输入至预先构建的三维模型数据库中，得到与所述语义识别特征匹配的语义识别特征模板，所述三维模型数据库中存储有不同物体所对应的语义识别特征模板；

S04.将步骤S02得到的语义识别特征以及步骤S03得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。

进一步的，所述步骤S01中，对点云数据进行特征提取时，先将点云数据切分为多个块的集合，然后对切分得到的每个分块中点进行统计计算，提取得到对应各分块的点云特征。