[发明专利]一种基于顶视角的行人三维检测跟踪方法及系统

说明书

本发明公开了一种基于顶视角的行人三维检测跟踪方法及系统，该方法包括：对双目相机获取到的左右图像进行立体校正和立体匹配处理；空洞填充并转换得到高度图；对高度图进行建模处理得到二维高度前景图；投影并转换为顶视角下的二维平面点云投影图，检测得到行人头部三维坐标点；将行人头部三维坐标点映射回二维图像坐标系中，并定位出每个行人的边界框；结合行人头部三维坐标点和定位出的行人边界框，进行帧间行人匹配跟踪。通过使用本发明，能够有效克服行人间遮挡导致漏检的问题，提高行人检测召回率。本发明作为一种基于顶视角的行人三维检测跟踪方法及系统，可广泛应用于行人检测领域。

技术领域

本发明涉及视频图像处理领域，尤其涉及一种基于顶视角的行人三维检测跟踪方法及系统。

背景技术

行人检测作为计算机视觉的一个热门研究方向，在我们的日常生活中应用十分广泛。而行人检测问题根据相机摆放的位置和视角不同，可以分为顶视角行人检测和斜视角行人检测。而目前主流的行人检测算法研究的大多是灵活度更大的斜视角的行人检测，而这种视角的缺点是行人间遮挡粘连严重，容易漏检，基于顶视角的行人检测又是行人检测任务的一种特殊应用场景，但目前较少有人对这方面进行研究。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于顶视角的行人三维检测跟踪方法，能够有效克服行人间遮挡导致漏检的问题，提高行人检测召回率。

本发明所采用的第一技术方案是：一种基于顶视角的行人三维检测跟踪方法，包括以下步骤：

对双目相机获取到的左右图像进行立体校正和立体匹配处理，得到深度图；

对深度图进行空洞填充，并转换得到高度图；

基于MOG2背景建模方法对高度图进行建模处理，得到二维高度前景图；

具体地，用于建模背景模型的帧数设定为500帧，学习率则为0.002，方差阈值设定为16，高斯分量个数设置为5个。

将二维高度前景图投影到三维高度前景点云图中并转换为顶视角下的二维平面点云投影图，检测得到行人头部三维坐标点；

将行人头部三维坐标点映射回二维图像坐标系中，并结合该头部三维坐标点在二维图像中定位出每个行人的边界框；

结合行人头部三维坐标点和定位出的行人边界框，利用行人中心点的帧间距离以及边界框中的颜色直方图特征进行帧间行人匹配跟踪。

进一步，所述对双目相机获取到的左右图像进行立体校正和立体匹配处理，得到深度图这一步骤之前，还包括：

对双目相机进行立体标定，得到相机的内外参数和透视变换矩阵。

具体地，通过立体标定步骤可以算出4x4的透视变换矩阵Q。

进一步，所述对双目相机获取到的左右图像进行立体校正和立体匹配处理，得到深度图这一步骤，其具体包括：

基于双目相机获取图像并对双目相机获取到的左右图像进行立体校正，得到校正后的图像；

基于SGBM算法对校正后的图像进行立体匹配，得到深度图。

进一步，所述对深度图进行空洞填充并转换为高度图这一步骤，其具体包括：

选取空洞附近的可靠的深度点作为参考值对空洞进行填充，得到填充后深度图；

根据双目相机的安装高度将填充后深度图转化为高度图。

进一步，所述透视变换矩阵Q表达式如下：