[发明专利]基于拍照的实时自动3D建模方法

说明书

本发明公开了一种基于拍照的实时自动3D建模方法，包括：S1)将移动设备和相机固定在同一拍摄支架上；S2)在移动支架的过程中获取多张相机或移动设备的图像，获取每个拍摄点的位置和朝向，形成使用统一坐标系的路线图；S3)在移动设备上实时对每个拍摄点的相机照片进行3D建模；S4)将每个拍摄点的3D模型按照S2中获取的位置和朝向，统一放置在同一个三维坐标系内，对多个拍摄点3D模型之间的结合部位进行拼接处理，形成包含多拍摄点的整体3D模型；S5)在移动设备上自动生成全景漫游效果。本发明能够支持多种拍摄设备，自动精确记录各个拍摄点的相对位置和相机的镜头朝向，自动生成可在内部漫游的3D模型以及2D平面图。

技术领域

本发明涉及一种3D建模方法，尤其涉及一种基于拍照的实时自动3D建模方法。

背景技术

本发明所要解决的技术问题是一种基于拍照的三维空间实时建模方案，该方法可用于单空间或多空间的3D建模和2D平面图生成，包含拍摄硬件，拍摄软件，编辑修改软件和云端展示软件组成的一整套流程系统。

传统上，基于拍照的建模方法有以下两种，但是都有明显的缺点：

传统方法a)使用能够识别深度信息的相机，直接生成3D模型。这种方法依赖于更加复杂的硬件，导致更高的设备成本，往往需要专业摄影师才能操作，不利于普及；

传统方法b)在一个拍摄点距离较近的地方拍摄两张照片，优选间隔厘米级和分米级并连续进行匹配和定位，然后使用MVS(Multi View Stereo，参考https://github.com/cdcseacave/openMVS)进行建模，优点是整个过程全自动不需要人工干预，但是缺点也很明显：

缺点1：计算量较大，无法在移动设备上实时建模，通常上传到服务器(云端/PC)，利用更强的计算能力，运行建模算法；

缺点2：无法给出具体间隔多远拍摄的规范，如果太密则使用太麻烦，耗时过长；如果只是靠两两可见，靠感觉，可能建模失败，而拍摄时无法给用户提示。

为了克服以上的缺点，本发明使用了创新的方法，即使用深度学习和图像处理方法进行单拍摄点建模，可以在移动设备有限的计算能力下实时运行；为了提高实时性，只对房间轮廓建模，不复原家具、饰品等物体模型；通过构建实时定位系统，把多个拍摄点的模型按照位置和方向放在同一坐标系内；对多个拍摄点的独立模型进行优化处理，处理好结合部分，生成整体3D模型、2D平面图和全景漫游效果；允许手工对拍摄的结果进行审核和编辑。

本发明支持拍摄方式广泛，包括但不限于手机鱼眼镜头、全景相机、带鱼眼镜头的相机，以及普通手机和普通数码相机，成本低廉。

普通照片(定义)：使用普通数码相机(包括普通单反、微单、Point&Shoot相机等)、全景相机、带鱼眼镜头的相机，普通手机和带鱼眼镜头的手机，以及摄像头采集的照片。区别于双目视觉，普通照片并不能通过同一拍摄点拍摄的两张照片复原三维信息。普通照片以下简称照片。

使用全景相机时，通常获取的是全景图(全景图的格式和定义可以参考https://baike.baidu.com/item/360度全景图/8060867)。部分计算机视觉、图像算法，例如直线检测，需要将全景图转换为不变形的图片。以下使用的照片和图片表述包括全景照片和经转换过的不变形的图片。

发明内容

本发明所要解决的技术问题是提供一种基于拍照的实时自动3D建模方法，能够支持多种拍摄设备，自动精确记录各个拍摄点的相对位置和相机的镜头朝向，自动生成可在内部漫游的3D模型以及2D平面图。