[发明专利]一种基于交通摄像头的深度图估计方法

权利要求书

1.一种基于交通摄像头的深度图估计方法，其特征在于，具体包括以下步骤：

S1：通过固定位置和定焦的交通摄像头采集交通视频数据；

S2：对所述步骤S1采集的交通视频数据采用语义分割方法进行车辆分割和跟踪，获得车辆跟踪视频；

S3：对所述步骤S2中的车辆跟踪视频的连续帧图像做背景替换，获得原始帧；

S4：对所述步骤S3处理后的单一车辆跟踪视频的连续帧图像进行相机的虚拟位姿计算；

S5：所述步骤S3处理后的单一车辆跟踪视频的连续帧图像通过深度神经网络估计每帧基于像素的深度值；

S6：根据所述步骤S4的虚拟位姿和所述步骤S5的像素的深度值合成目标帧图像，获得合成帧；

S7：根据所述步骤S6的合成帧和所述步骤S3中的原始帧，构建目标函数，根据目标函数的约束，训练所述步骤S5中的深度神经网络，从而得到所述交通摄像头视频的深度计算图；

所述步骤S2的具体步骤为：

S21：使用图像语义分割模型分割出交通视频数据中每一帧的所有车辆，并合并除车辆外的类别；

S22：采用模板匹配的方法对每辆车辆进行跟踪；

S221：根据车辆分割轮廓的坐标的最小值和最大值确定车辆的矩形包络框；

S222：将交通视频数据的前一帧中的目标车辆的包络框当作后一帧车辆匹配的模板；

S223：提取模板中心点位置，并将模板的中心点与后一帧中所有车辆的包络框的中心点逐一对齐；

S224：再根据归一化相关系数匹配法计算模板覆盖下的图像区域与模板的匹配度，选择与模板匹配度最大的车辆作为跟踪目标，实现对车辆的快速跟踪；

所述步骤S224中根据归一化相关系数匹配法计算模板覆盖下的图像区域与模板的匹配度，相关系数的计算公式为：

；

其中 表示模板图像，表示模板与模板均值的差，表示原图像与原图像均值的差。

2.根据权利要求1所述的基于交通摄像头的深度图估计方法，其特征在于，所述步骤S3的具体步骤为：首先提取出单一车辆的连续帧，并将每个连续帧的图像中除了目标车辆的所有像素设定为统一值；且设定的背景颜色与目标车辆颜色形成对比，便于后续特征点的提取和匹配，获得原始帧。

3.根据权利要求1所述的基于交通摄像头的深度图估计方法，其特征在于，所述步骤S4通过将车辆相对相机的运动转换为相机的虚拟运动，确定虚拟位姿；

其中计算虚拟位姿的具体步骤为：

S41：首先对连续帧中的目标车辆进行特征提取和前后帧特征匹配；通过随机采样一致RANSAC算法去除噪声点求解出基础矩阵F，再结合相机内参K求解本质矩阵E，相机内参K与本质矩阵E之间的关系为：

；

S42：然后通过奇异值分解SVD分解出相机运动的旋转矩阵R和平移矩阵t；设E的SVD为：

；

其中U，V为正交阵，为奇异值矩阵；

则：

；

；

其中 表示绕Z轴旋转90度得到的旋转矩阵；将任意一点带入上式的四种解之中，检测点深度值为正，则为正确的解；

S43：再根据三角测量原理计算匹配的特征点三维坐标P；具体为：设为两个特征点的归一化坐标，则满足：

；

其中为前一帧的特征点的深度值，为与前一帧对应的后一帧的特征点的深度值；再对上式求最小二乘解即可得到两帧图像下点的深度，得到匹配的特征点的三维空间位置即三维坐标；

S44：位姿初始化后，根据前一帧的特征点的三维坐标和其对应的后一帧的特征点的二维像素坐标求解出相邻帧之间的位姿。

4.根据权利要求1所述的基于交通摄像头的深度图估计方法，其特征在于，所述步骤S5中深度计算网络为DispNet网络，通过端到端方式计算图像像素的深度值；其中输入为目标帧图像，输出为目标帧的每个像素点深度值组成的深度图。