[发明专利]基于拍照的实时自动3D建模方法

权利要求书

1.一种基于拍照的实时自动3D建模方法，其特征在于，包括如下步骤：

S1)将具有拍照功能的移动设备和相机固定在同一拍摄支架上；

S2)在移动支架的过程中获取多张相机或移动设备的图像，结合相机或移动设备的传感器来获取每个拍摄点的位置和朝向，形成使用统一坐标系的路线图；

S3)在移动设备上实时对每个拍摄点的相机照片进行3D建模；

S4)在移动设备上将每个拍摄点的3D模型按照S2中获取的位置和朝向，统一放置在同一个三维坐标系内，对多个拍摄点3D模型之间的结合部位进行拼接处理，形成包含多拍摄点的整体3D模型；

S5)在移动设备上自动生成全景漫游效果。

2.如权利要求1所述的基于拍照的实时自动3D建模方法，其特征在于，所述步骤S2是基于移动设备的定位系统，使用移动设备的图像，通过相近拍摄点照片进行特征点匹配来找到拍摄点的相对位移，形成包括所有拍摄点的在同一坐标系内的路线图，并提供每个拍摄点的位置和方向。

3.如权利要求1所述的基于拍照的实时自动3D建模方法，其特征在于，所述步骤S2是基于相机的定位系统，使用相机的图像，通过相近拍摄点照片进行特征点匹配来找到拍摄点的相对位移，并形成包括所有拍摄点的在同一坐标系内的路线图，并提供每个拍摄点的位置和方向。

4.如权利要求2或3所述的基于拍照的实时自动3D建模方法，其特征在于，所述步骤S2还包括通过移动设备或相机的传感器，获取包括移动的加速度、速度和方向信息，对路线图进行校正。

5.如权利要求2所述的基于拍照的实时自动3D建模方法，其特征在于，所述步骤S2还包括获取相机镜头和手机朝向的夹角，在初始化阶段同时运行基于手机的定位系统和基于相机的定位系统，并移动支架一段距离，此时两套系统各提供一个位移向量，两个向量的夹角即为相机镜头与手机的夹角；或者通过手工旋转相机预览图或者拍摄的照片，指定与手机朝向一致的角度；或者通过图像识别算法匹配手机与相机的预览图或拍摄的照片，找到夹角；或者通过使用额外的标识包括在支架上增加刻度与手机的安装方向形成固定夹角，然后在相机预览图或照片中识别该标识来计算相机镜头和手机朝向的夹角。

6.如权利要求1所述的基于拍照的实时自动3D建模方法，其特征在于，所述步骤S3包括：

S31)基于深度学习技术，识别照片中的地板，天花板，墙壁和屋顶部分的图像；

S32)基于图像处理技术，对识别出的图像进行分块，每块近似认为是一个平面，地板和天花板部分的图像块位于水平平面，墙壁部分的图像块位于垂直平面，求解各个平面方程生成3D模型；对于在照片中相交的两个平面，以这两个平面的一条交线为约束条件，使得计算得到的交线与实际观察到的交线的误差最小。

7.如权利要求1所述的基于拍照的实时自动3D建模方法，其特征在于，所述步骤S3还包括：对于室内照片，利用计算机视觉技术识别照片中的墙角，并将墙角连接起来即为房间的粗略模型。

8.如权利要求1所述的基于拍照的实时自动3D建模方法，其特征在于，所述步骤S3中还包括如下方式生成2D平面图：

S33)将3D模型的每个面向下投影到2D俯视图平面上，并将这些投影进行合并成一个多边形；

S34)对得到的多边形进行校正和简化，包括仅保留2D平面图上多边形的顶点，删除小的凹凸；

S35)对得到的多边形进行校正和简化，包括对于室内场景，利用计算机视觉技术检测图片中的直线，进而确定墙壁的走向，并将与墙壁走向近似平行或垂直的边都修正到对应的方向上；

S36)识别门的位置，包括使用深度学习的方法，在全景图上识别门的位置和大小，或者根据整个拍摄过程中相机的移动轨迹和房间轮廓的交点确定门的位置。