[发明专利]面向街景的城市天空可视域在线提取方法及系统

权利要求书

1.一种面向街景的城市天空可视域在线提取方法，其特征在于，该方法包括如下步骤：

(1)训练图像语义分割的深度学习网络；

(2)利用百度在线地图API自动获取和存储百度街景图片，建立街景图片库，从建立的街景图片库中采集街景图像，输入到步骤(1)训练好的语义分割的深度学习网络中，从而生成带有掩膜的语义分割图像；

(3)图像投影转换：将采集到的街景图像和步骤(2)得到的带有掩膜的语义分割图像进行鱼眼投影变换；

(4)天空可视域SVF计算，公式如下：

式中，n是鱼眼图像的像素总数，ω是每个像素所占用的比重，是以度为单位的天顶角，f(i)是关于天空在一个像素处是否可见的函数；

步骤(1)的具体方法是：

使用Cityscapes的5000张高质量像素级标注的图像作为数据集，ResNet18作为主干网络，DeepLabv3作为图像语义分割算法，PyTorch1.11的CUDA版本作为深度学习框架训练语义分割网络模型；

加入交叉熵损失函数和Adam优化算法，保证模型训练能够收敛到非凸面的局部最小值；

交叉熵损失函数的公式表达如下所示：

式中，x是预测结果，class表示样本的实际标签，假设样本实际分类为3，那么class＝3,则x_[class]＝x₃，取预测结果向量中的第三个元素，其作用是当预测结果越接近真实值，损失函数的值越接近于0，i是分类的类别数，交叉熵损失函数联合了Softmax函数，将分类函数得到的结果转化为一个概率分布的函数，如下式所示：

式中，Softmax是归一化指数函数，j是样本中的第j个类别；

为交叉熵函数设置了权重参数，给不同的类别设置不同的权重，如下式所示：

式中，weight_[class]是样本中每个类别的权重。

2.根据权利要求1所述的面向街景的城市天空可视域在线提取方法，其特征在于，步骤(3)的具体方法是：令街景图像的宽度为W，高度为H，街景图像的每个像素的坐标为(x_c,y_c)，鱼眼图像的每个像素的坐标(x_f,y_f)，极坐标为(r,θ)及鱼眼图像的中心坐标为(C_x,C_y)，转换公式如下：

3.一种面向街景的城市天空可视域在线提取系统，其特征在于，权利要求1-2之一所述的面向街景的城市天空可视域在线提取方法应用于该系统，该系统包括数据资源模块、地址搜索栏模块、实时语义分割模块、转换鱼眼图像模块、开始绘制模块、开始测距模块；

所述数据资源模块加载了地图；地址搜索栏模块通过输入地址跳转至地图上的相应位置；开始绘制模块和开始测距模块在地图上根据设定的采样间距绘制街景的采样点；

所述实时语义分割模块封装了所述的语义分割的深度学习网络用于对实时获取的街景图像进行语义分割，从而生成带有掩膜的语义分割图像；

所述转换鱼眼图像模块用于对采集到的街景图像和语义分割后的带有掩膜的语义分割图像进行鱼眼投影的变换，鱼眼投影的变换完成以后计算SVF的值，并根据语义分割的效果和SVF的估算值评定算法的效果，再次修正网络模型中的超参数，提高模型的精度。

4.根据权利要求3所述的面向街景的城市天空可视域在线提取系统，其特征在于，该系统还包括数据库，采集的街景图像及其经纬度、街景id、水平视角、垂直视角与SVF估计值均保存到设计好的数据库中。