[发明专利]基于社交媒体图像数据的城市风貌分析方法

权利要求书

1.基于社交媒体图像数据的城市风貌分析方法，其特征在于，包括以下步骤：

获取社交媒体图像数据，建立数据集；

对数据集的样本进行室内室外图像分类，剔除室内图像样本，对室外图像样本进行去除噪声处理，去除不代表城市风貌的样本；

对处理后的数据集使用卷积神经网络进行风貌学习；

采用焦点损失函数对样本不平衡问题进行处理；

使用预训练模型进行迁移学习，用于解决过拟合和训练时间长的问题；

使用最小化信息量准则对风貌特征进行聚类；

计算城市间的风貌距离；

根据所述风貌距离分析城市间的风貌相似性，及根据聚类结果分析城市的细粒度风貌；

其中，所述风貌学习方法包括以下步骤：训练一个以城市图像数据作为输入，图像分到各个城市的概率值p作为输出的卷积神经网络；从数据集中随机抽取B张图像输入到所述卷积神经网络中，其中，B为batchsize，通过卷积神经网络的第l层得到N_l张特征图，每张特征图的大小为W*H，将所述每张特征图展平为一维向量S＝(a₁,a₂,……,a_W*H)^T，其中，a_i为该张特征图上的第i个特征值，得到了N_l维的向量并且分别计算S_i的均值Mean_i和标准差Std_i，将所有的均值Mean_i和方差Std_i组成风貌向量：

将所述风貌向量作为风貌特征输入到全连接层中进行学习。

2.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，所述对数据集的样本进行室内室外图像分类的方法采用室内室外二分类模型resNet18，所述对室外图像样本进行去除噪声处理的方法为无监督聚类方法。

3.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，所述焦点损失函数如下：

其中α_i为第i个城市的权重，样本量大的权重越小，α_i＝Mun_min/Num_i，Num_min为最小的样本数，Num_i为第i个城市的样本数，N为城市的总数，γ为焦点因子。

4.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，使用迁移学习建立预训练模型，所述预训练模型采用ImageNet预训练模型。

5.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，通过对图像的风貌向量进行聚类，揭示城市的细粒度风貌。

6.根据权利要求1或5任意一项所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，聚类方法包括以下步骤：

对城市的风貌特征进行PCA降维处理，消除数据的冗余；

将降维后的向量作为高斯混合模型的输入，通过给予成分数，得到聚类结果，聚类结果的数量为成分数。

7.根据权利要求1所述的基于社交媒体图像数据的城市风貌分析方法，其特征在于，计算风貌距离的方法如下：

将所述风貌向量Style进行全连接操作后进行度量，生成风貌向量生成相似性矩阵；

如果城市city_i与城市city_j风貌相似，那么city_i的图像容易被判别为属于city_j，将被判别为city_j的city_i样本数记为S(i_j)；

city_j的图像样本也容易被预测为属于city_i，将被判别为city_i的city_j样本数记为S(j_i)，得到分类预测的混淆矩阵；

将所述混淆矩阵进行归一化处理后，得到city_i与city_j的相似性为T(j,i)＝C_j,i+C_i,j，其中C_j,i，C_i,j分别为S(j_i)、S(i_j)归一化后的值。