[发明专利]基于街景图像目标关系感知网络的城市功能区识别方法及系统

说明书

本发明提供了一种基于街景图像目标关系感知网络的城市功能区识别方法及系统，包括：获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类；能够模拟人类识别和推理过程，捕捉街景图像中的局部空间关系和全局语义关系，增强城市功能区检测器的能力。

技术领域

本发明涉及城市功能区识别领域，特别涉及一种基于街景图像目标关系感知网络的城市功能区识别方法及系统。

背景技术

目前，针对高分辨率遥感影像进行城市功能区识别的研究主要使用了地物的低层次的视觉特征，无法准确识别纹理和灰度较为相似的不同类型的地物。例如，来自高分遥感影像的光谱信息不足以将相同(土地覆盖)材料区分为不同的建筑物类别。例如，一栋混凝土建筑可能属于一所学校、一个市政厅或一家酒店。此外，城市功能区通常由一系列不同材料、不同纹理的对象组成，并被围在某个边界之内。例如，医院可就可能包含以将公园、道路和建筑物围在其边界内。从俯视角度确定复杂城市地区的功能区类别要困难得多，因为我们无法从遥感图像上确定一座建筑物是餐厅还是理发店。利用遥感图像仅从俯视角度进行识别，缺少了重要的建筑物细节信息，很难得到正确的建筑物类型。因此，对经济社会特征十分明显的城市功能区类型，利用遥感影像很难进行识别。

随着街景图像服务例如谷歌街景服务(GSV)的兴起，越来越多不同城市的具有准确地理定位的街景图像可以被获得。在常见计算机视觉任务中表现良好的视觉模型，如CNN，最近被广泛用于提取街景图像的视觉特征，用于城市土地利用和城市功能区分析。然而，现有的基于街景图像的城市功能区分类热衷于关注图像的整体视觉特征，而忽略了图像中的局部视觉特征之间的关系。所以，在当直接使用整个图像时，它们包含的许多相同的视觉元素(例如天空和地面)的特征就会对不同功能区的区分造成干扰，而使得最具可区分性的视觉元素(例如建筑物)反而没有得到充分利用。这些方法的一个共性不足，就是本质上受限于对忽略图像中对象之间复杂的局部空间关系的忽略。对图像中对象之间复杂的全局语义关系的忽略也是这些方法的局限性之一。

发明内容

本发明提供了一种基于街景图像目标关系感知网络的城市功能区识别方法及系统，其目的是为了解决城市功能区类型识别的问题。

为了达到上述目的，本发明提供了一种基于街景图像目标关系感知网络的城市功能区识别方法，包括：

步骤1，获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；

步骤2，根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；

步骤3，对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；

步骤4，获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类。

其中，所述步骤2具体包括：

从所述街景图像的每个类别中随机选择75％的样本作为训练/验证集，剩余的25％作为测试集，将训练/验证集按照9:1的比例随机分为训练集和验证集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型。

其中，所述对街景图像进行空间关系感知的步骤具体包括：

将街景图像输入到预训练的基线模型Faster R-CNN网络中，得到街景图像中建筑物的目标框和分类权重；