[发明专利]一种基于视频流的行人运动速度智能感知方法

说明书

本发明公开了一种基于视频流的行人运动速度智能感知方法，该方法包括：采用摄像头标定方法获取摄像头内部参数和外部参数，建立图像坐标系到空间坐标系的坐标转换模型；获取监控摄像头下的实时视频流并进行行人目标检测及跟踪，得到行人ID和相应的图像坐标系下的行人检测框粗定位结果；利用人体部件分割模型对得到的行人目标进行部件分割，获取图像坐标系下的行人脚点精定位结果；利用坐标转换模型实现行人脚点从图像坐标系到真实世界中的空间坐标系的位置信息解算，结合视频流帧间隔时间计算行人的运动速度，实现基于摄像头视频流的行人运动速度智能感知方法。

技术领域

本发明涉及机器视觉及深度学习技术领域，具体地涉及一种基于视频流的行人运动速度智能感知方法。

背景技术

针对监控摄像头下的行人进行检测、跟踪、空间位置定位以及实时运动速度计算等智能感知，对于帮助建立智能安防、解放人力具有重要意义。

传统的依靠外置的传感器或者穿戴在行人身上的外部物件来获取目标行人运动信息的方法用户体验不佳，采用基于视觉的智能算法可以实现无接触式的行人空间信息感知及运动速度计算，但在精度方面，受限于图像坐标系到空间坐标系转换模型精度，尤其容易受行人检测框精度的影响。

发明内容

针对现有技术的不足，本发明提供了一种基于视频流的行人运动速度智能感知方法。

本发明的目的是通过以下技术方案实现的：一种基于视频流的行人运动速度智能感知方法，包括以下步骤：

步骤一，采集摄像头下的标定图片并进行摄像头标定，获取监控摄像头的内部参数和外部参数，建立图像坐标系到世界坐标系的坐标转换模型；

步骤二，根据流媒体协议获取监控摄像头实时视频流，采用行人检测模型及多目标跟踪模型进行行人检测及跟踪，输出行人ID及检测框，得到图像坐标系下的行人粗定位结果；

步骤三，根据步骤二中的行人检测框获取行人图片，输入训练好的人体部件分割模型进行行人部件分割，获取图像坐标系下的行人脚点精定位结果；

步骤四，根据行人脚点在图像坐标系下的像素信息，结合步骤一建立的坐标转换模型进行坐标转换计算，得到行人以地平面为二维平面XY轴且垂直于地面为Z轴的空间坐标信息；将所述空间坐标信息结合行人跟踪算法，获取间隔帧下的目标行人空间位置移动距离，再结合间隔帧时间，计算行人运动速度。

进一步地，所述摄像头标定的方法包括获取摄像头内部参数和外部参数，内部参数由棋盘格标定法获取，包括内参矩阵M_C和畸变系数dist，外部参数采用ArUcoMarker二维码标定布结合所述监控摄像头的内部参数利用PNP方法进行解算，包括旋转矩阵R和平移矩阵T；

进一步地，步骤三包括如下子步骤：

(3.1)根据步骤二的行人粗定位结果，从监控摄像头实时视频流的原始图像帧中切分出所有行人图片进行批处理，然后输入训练好的人体部件分割模型进行行人分割，输出行人部件分割结果；

(3.2)根据行人分割结果判断视频帧图像中是否包含行人脚点，如果不包含行人脚点，则不进行坐标转换计算；若包含行人脚点，则通过尺度换算转换到原始视频图像帧的像素坐标，再根据行人脚点像素的下边界结果修正行人检测框的下边框，输出修正后行人检测框的左下角与右下角连线的中点，作为行人脚点精定位输出值。

进一步地，所述人体部件分割模型的训练过程为：采用PPSS dataset作为训练集，输入人体部件分割模型，采用随机梯度下降方式进行训练，设置初始学习率为0.03，并以线性衰减的学习策略来更新学习率，当训练次数或者损失函数的达到阈值后，完成对人体部件分割模型的训练。

进一步地，所述行人运动速度计算过程为：