[发明专利]基于行人活动和密度感知的智慧城市CIM成像方法

权利要求书

1.一种基于行人活动和密度感知的智慧城市CIM成像方法，其特征在于，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；

步骤2，利用设置在需要监控行人活动区域的摄像头采集大量图像，按照比例分为图像样本集、测试样本集；

步骤3，对图像样本集图像进行行人标注，标注在人头的位置，将标注的人头散点图与高斯核卷积得到行人关键点热力图；

步骤4，利用图像样本集以及对应的行人关键点热力图标签数据，端到端地训练行人关键点提取网络，该网络包括：行人关键点检测编码器、行人关键点检测解码器；

步骤5，将测试样本集输入训练好的行人关键点提取网络，得到行人关键点热力图；

步骤6，将连续帧的行人关键点热力图进行叠加，然后将相加的热力图结果和等级标签数据送到相机刷新率分级网络中，训练相机刷新率分级编码器、全连接层；

步骤7，将摄像头实时采集的连续图像帧依次经行人关键点检测网络、叠加、相机刷新率等级分类网络处理，输出相机实时刷新率等级；

步骤8，根据相机实时刷新率等级实时调整摄像头刷新率并图像采集；同时将各个摄像头拍摄的图像进行拼接，形成完整的区域图像，经透视变换处理后，投影到CIM地面坐标系；结合WebGIS技术，在Web页面上对城市信息模型进行可视化显示。

2.如权利要求1所述的方法，其特征在于，所述行人关键点检测编码器对图像进行特征提取，输入为图像数据，输出为特征图；

所述行人关键点检测解码器对特征图进行上采样并最终生成行人关键点热力图，其输入为行人关键点检测编码器产生的特征图，输出为行人热力图。

3.如权利要求1所述的方法，其特征在于，所述步骤4中训练时采用的损失函数：

其中，P_ij代表行人关键点在位置(i,j)处的得分，得分越高就越可能是行人关键点，y_ij表示ground truth热力图在(i，j)处的像素值，N代表ground truth中的关键点数量，α、β为超参数。

4.如权利要求1所述的方法，其特征在于，所述相机刷新率分级编码器进行特征提取，输入为热力图叠加的结果，输出为特征图；

所述全连接层起到将特征向量映射到样本标记空间的作用，其输入为特征图进行展平操作的结果，输出为相机刷新率各个等级的概率。

5.如权利要求1所述的方法，相机实时刷新率等级包括：0级表征无人通行，1级表征少量人通行，2级表征大量行人通行；0级时，调整摄像头刷新率为30Hz，1级时，调整摄像头刷新率为45Hz；2级时调整摄像头刷新率为60Hz。

6.如权利要求1所述的方法，其特征在于，所述将各个摄像头拍摄的图像进行拼接，形成完整的图像包括：

进行图像配准，采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的行人活动区域图像。