[发明专利]一种从单幅照片恢复出场景基本三维结构的方法

权利要求书

1.一种基于深度学习从单幅照片恢复出场景基本三维结构的方法，其特征在于：包括如下步骤：

步骤一、利用深度卷积神经网络对图片进行处理，具体步骤为：

(ft1)对输入图进行卷积、池化及非线性变换操作，得到图片的特征图；

(ft2)在完成适当次数的步骤(ft1)操作后，对最后一张输出图进行逐像素分类，得到每个像素的类别，并为每个像素打上语义标签；

(ft3)对步骤(ft2)的输出进行反卷积处理，提高其分辨率，从而得到更多细节信息，作为输出结果图，记为M₁；

步骤二、目标去除是利用图像语义分割的输出结果图，扣除原图中前景的操作，其步骤为：

(cm1)将图像语义分割的结果图转化为二值图，二值图中，属于前景部分的像素值为0；

(cm2)以原图和步骤(cm1)得到的二值图作为输入，两张图中，坐标值相同的像素进行按位相与操作，得到的结果图即为去除了前景的待修复图，记为G₂；

步骤三、图像修复是根据目标去除操作的输出结果图中的背景部分，修复输出结果图中被去除部分的操作，其步骤为：

(xt1)确定原图中地面、立面交线；

(xt2)确定待修补像素的优先级；

(xt3)根据待修复像素可能属于的类别，在步骤(cm2)得到的输出结果图G₂中寻找最佳匹配块，将该最佳匹配块复制到待修补位置处；

(xt4)判断全图是否修补完毕，若未完毕，则根据优先级顺序，确定下一块待修补像素，执行(xt3)操作；若修补完毕，则图像修复工作完成；

所述步骤(xt3)包括步骤如下：

(xt3.1)当前权值最高的待修补块记为L，根据L中心点坐标(x,y)，结合地面与立面交线H判断L所处的语义环境；

(xt3.2)将图像分为已知区域和待填充区域，待填充区域即G₂中被去除的部分，修复从待填充区域的边界开始，以边界点p为中心，设置块的大小；

(xt3.3)判断以边界点p为中心的待修复块中是否有地面-立面交线穿过：

若否，则结合L所处语义环境及对原图的语义分割结果M₁，在相应语义环境中选取最佳patch进行填充，patch的大小等于步骤(xt3.2)中设置的块大小，在以候选点q'及q”为中心的两个块中，选取最佳匹配块，填充到以p为中心的待填充块中；

若是，则执行步骤(xt3.4)；

(xt3.4)若以边界点p为中心的待修复块中有地面-立面交线穿过，即其中，函数distance为点到线的距离，s为待修补块L的边长，则在地面-立面交线上选取最佳patch， 其中l_i∈L，L为地面-立面交线的集合；

步骤四、图像翻折是根据地面、立面mask图，对图像修复阶段得到的修复结果图的立面进行翻折，得到立面翻折图的过程，其步骤为：

(zt1)根据原图的地面、立面交线，将原图分为地面、立面两部分，由此构建一张地面、立面的二值化mask图，其中，立面部分像素为0；

(zt2)根据步骤(zt1)得到的二值化mask图，对图像修复阶段得到的修复结果图的立面进行翻折，得到立面翻折图。