[发明专利]基于社交媒体图像数据的城市风貌分析方法

说明书

本发明公开了基于社交媒体图像数据的城市风貌分析方法，方法包括：获取社交媒体图像数据；对数据集的样本进行分类和去除噪声；使用卷积神经网络进行风貌学习；对样本不平衡问题进行处理；进行迁移学习；对风貌特征进行聚类；计算城市间的风貌距离；分析城市间的风貌相似性及城市的细粒度风貌。本发明将城市风貌编码为一组向量；解决了社交媒体图像分布的不均衡问题；利用城市风貌向量定义了城市风貌距离，使用该距离能分析出不同城市如何表象出风貌相似和风貌相近的，能分析出风貌距离和地理距离的相关性；使用城市风貌向量为嵌入向量的聚类方法，能够更细致地发现城市细粒度风貌。

技术领域

本发明属于人工智能领域，具体涉及基于社交媒体图像数据的城市风貌分析方法。

背景技术

城市风貌是指一个城市可以被视觉感知的特色，是城市身份、地域文化和城市魅力与活力的重要标志。它受物质环境和非物质环境共同影响，包括山水环境、开敞空间、建筑形体等景观要素。受全球化影响，许多城市逐渐丧失特色，出现了“千城一面”的风貌趋同问题。近十年来，城市特色营造和城市风貌规划已经备受重视，但是由于文化特色难以衡量，各城市之间的风貌独特或相似程度不好评判，适用于城市风貌建设的科学定量方法和客观分析技术仍有待完善。世界上没有两片完全相同的叶子，城市之间也不会完全的相同或者不同。提取城市的视觉特征、风貌特征，有利于将其作为城市设计、管理的依据，同时也作为游客们旅游时的参考。

许多研究者已经从视觉元素、要素类型等方面探讨了城市的独特性，也有人从特征图的角度探索了城市的相似性与独特性。对城市的风貌特征进行描述与表示有助于衡量城市间的独特或相似程度，但是，较早的研究如专利文献1-3，主要是依靠调查问卷和访谈的方式来探索城市的风貌特征，这些方法为今后的研究提供了很好的思路，但是该方法不能快速地捕获关键的视觉信息，是一项非常耗时耗力的工作。图像数据是客观反映城市风貌的一种重要的信息媒介，同时也是以日常生活视角去观察城市局部风貌的一种方式。随着各种社交软件(如Flickr、微博、Instagram)、网络地图服务(如：Google、腾讯)等的快速发展，图像数据的获取变得更加的容易，覆盖城市各个角落的图像数据也在日益增加。随着计算机技术的日新月异，许多研究者开始重视针对城市图像数据的挖掘与利用，如非专利文献4探索最能体现巴黎城市特质的风貌元素，了解什么样的阳台或窗户看起来最像巴黎；非专利文献5探索是什么使伦敦看起来非常美丽、安静和快乐。然而，由于已有技术无法处理海量图像数据的任务需求，社会迫切需要更高效率、智能化的处理方法。近年来，随着深度学习在计算机视觉领域的快速发展，非专利文献6-9中，具有强大的学习能力与表达能力的卷积神经网络在图像分类、图像场景识别等任务上取得了突破性进展。在城市图像研究方面，非专利文献10-12主要是涉及城市感知、城市和建筑风格以及地点识别与城市相似分析等相关研究。非专利文献13中，Zhang等人建立了一个覆盖18个城市的社交媒体数据集，使用一个深度卷积神经网络图像分类方法来衡量城市场景、物体的相似性，并发现城市整体的独特性，但是他们没有研究构成城市整体特色的细粒度风貌类型。

许多研究已经利用这两种类型的数据全面了解了城市。非专利文献14,15将网络图像数据用于旅游分析。非专利文献10将街景影像主要用于对城市进行预测分析、城市安全性分析等。非专利文献16中，周博磊等人利用网络数据对7个城市进行了城市要素类型分析，并探讨了城市间的相似性与差异性。还有非专利文献17利用网络图像数据从城市整体的分布结构和独特性等方面评价了不同城市的意象特征。非专利文献18中，Kita利用Google街景影像的房屋图像预测了车祸风险，提出了风险预测模型。非专利文献19中，Salesses等人利用Google街景影像分析了4个城市的街道安全度。然而还没有用网络图像数据进行城市风貌分析的研究。