[发明专利]基于街景图像目标关系感知网络的城市功能区识别方法及系统

权利要求书

1.一种基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，包括：

步骤1，获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；

步骤2，根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；

步骤3，对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；

步骤4，获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类。

2.根据权利要求1所述的基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，所述步骤2具体包括：

从所述街景图像的每个类别中随机选择75％的样本作为训练/验证集，剩余的25％作为测试集，将训练/验证集按照9:1的比例随机分为训练集和验证集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型。

3.根据权利要求2所述的基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，所述对街景图像进行空间关系感知的步骤具体包括：

将街景图像输入到预训练的基线模型Faster R-CNN网络中，得到街景图像中建筑物的目标框和分类权重；

利用得到的分类权重对建筑物对象进行视觉嵌入，使用成对的伪坐标函数u(a,b)捕获成对的空间信息，并从中确定具有可学习的均值和协方差K的高斯核WK作为图卷积网络的权重；

将区域视觉嵌入作为节点和高斯核WK作为权重，输入到图卷积网络中，进行街景图像的空间关系感知。

4.根据权利要求3所述的基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，所述根据得到的城市功能区类型对所述街景图像进行识别的步骤具体包括：

对街景图像进行语义关系感知，对街景图像的标签进行词嵌入，得到标签的词嵌入向量；

通过计算数据集中标签的共线次数得到一个归一化的图卷积网络的邻接矩阵；

将词嵌入向量和邻接矩阵输入到图卷积神经网络中，得到图像标签的图嵌入向量；

将图嵌入向量与预训练的基线模型Faster R-CNN得到的视觉特征向量进行点乘，得到街景图像的语义关系特征；

将得到的街景图像的空间关系特征与语义关系特征和街景图像整体的视觉关系特征进行连接；

将连接得到的向量输入到全连接网络当中，最后进行softmax分类得到城市功能区的类型。

5.根据权利要求3所述的基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，所述步骤4具体包括：

通过爬虫方式从OSM官网上获取到研究区域范围内的POI数据；

根据城市功能区类型将POI数据分为居住功能区、商业功能区、工业功能区和公共服务功能区，与街景图像功能区分类相对应；

通过对POI数据进行关键数据处理，完成POI的城市功能区类型界定；

获取研究区域内相应路网数据,根据研究区域范围进行数据裁剪；

将根据关系感知网络得到的基于街景图像的城市功能区分类和POI点数据得到的功能区映射进行结合，将4类功能区数据进行二维核密度计算，得到各功能区类别的核密度分布；

根据得到的各功能区类别的核密度分布，通过设定各区域内的核密度阈值，对各个区域内的城市功能区类型进行确定。

6.一种基于街景图像目标关系感知网络的城市功能区识别系统，其特征在于，包括：

数据获取模块，用于获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；

模型训练模块，用于根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；

图像识别模块，用于对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；

功能区分类模块，用于获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类。