[发明专利]一种基于交通摄像头的深度图估计方法

说明书

本发明公开了一种基于交通摄像头的深度图估计方法，具体步骤为：S1通过固定位置和定焦的交通摄像头采集交通视频数据；S2对交通视频数据采用语义分割方法进行车辆分割和跟踪；S3对步骤S2中的车辆跟踪视频的连续帧图像做背景替换，获得原始帧；S4对步骤S3处理后的车辆跟踪视频的连续帧图像进行相机的虚拟位姿计算；S5步骤S3处理后的单一车辆跟踪视频的连续帧图像通过深度计算网络计算每帧基于像素的深度值；S6根据步骤S4的虚拟位姿和步骤S5的像素的深度值合成目标帧图像，获得合成帧；S7根据步骤S6的合成帧和步骤S3中的原始帧，构建目标函数，训练深度计算网络相对应的深度模型，得到交通摄像头视频的深度计算图。

技术领域

本发明涉及视频监控技术领域，具体涉及一种基于交通摄像头的深度图估计方法。

背景技术

通过交通监控摄像头对视频中目标的深度测量应用于车辆定位、测速等智能监控应用中。由于交通监控大多采用固定的单目摄像头，无法直接得到三维的深度信息，对视频中目标点的测距和定位大多需要外部三维信息作参考。

确定摄像机外参是一种常见的方法，如专利CN103578109A提出一种通过多次摆放标定工具获取标定点，根据图像坐标系和世界坐标系之间的关系计算摄像机参数，再通过图像坐标系的投影获取测距点的距离。专利CN108805936A提出不需设置标志物，通过渲染网格的方法确定四个以上视频图像和物理空间对应点计算外参，并通过标定更多的物理点修正得到满意的摄像机外参的方法。通过预知尺寸的参考物体、地面假设、相机高度等测量值之间的几何关系约束获取目标点深度的方法，也需要人工辅助和预先计算。

使用其他装置辅助测距的方法，如专利CN104079868B提出的测距方法和装置借助激光器辅助摄像机获得目标点的距离；专利CN105550670B使用两个摄像头，使用双目相机识别定位的原理生成视角区域三维点云，从而获得目标位置。专利CN102168954B借助云台旋转采集同一目标的两幅图像，测量静止目标的深度信息，获得像点对应三维点的深度。此类通过双目或多目成像原理和立体匹配的深度计算方法的成本较高。

因此，有必要研发一种基于交通摄像头的深度图估计方法，能够使用固定摄像头采集的数据完成用于目标测距或定位的深度计算。

发明内容

本发明要解决的技术问题是提供一种基于交通摄像头的深度图估计方法，能够使用固定摄像头采集的数据完成用于目标测距或定位的深度计算。

为了解决上述技术问题，本发明采用的技术方案是：该基于交通摄像头的深度图估计方法，具体包括以下步骤：

S1：通过固定位置和定焦的交通摄像头采集交通视频数据；

S2：对所述步骤S1采集的交通视频数据采用语义分割方法进行车辆分割和跟踪，获得车辆跟踪视频；

S3：对所述步骤S2中的车辆跟踪视频的连续帧图像做背景替换，获得原始帧；

S4：对所述步骤S3处理后的单一车辆跟踪视频的连续帧图像进行相机的虚拟位姿计算；

S5：所述步骤S3处理后的单一车辆跟踪视频的连续帧图像通过深度神经网络计算每帧基于像素的深度值；

S6：根据所述步骤S4的虚拟位姿和所述步骤S5的像素的深度值合成目标帧图像，获得合成帧；

S7：根据所述步骤S6的合成帧和所述步骤S3中的原始帧，构建目标函数，根据目标函数的约束，训练所述步骤S5中的深度神经网络模型，从而得到所述交通摄像头视频的深度计算图。

作为本发明的优选技术方案，所述步骤S2的具体步骤为：

S21：使用图像语义分割模型分割出交通视频数据中每一帧的所有车辆，并合并除车辆外的类别；

S22：采用模板匹配的方法对每辆车辆进行跟踪；