[发明专利]深度信息补全方法及其装置、监控系统和存储介质

权利要求书

1.一种深度信息补全方法，其特征在于，应用于包含至少一个相机、及至少一个深度传感器的监控系统，所述方法包括：

将各深度传感器获取的深度信息与各相机视角下采集的当前帧图像的彩色信息对齐；

利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板；

分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域；

结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板；

通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。

2.根据权利要求1所述的深度信息补全方法，其特征在于，所述将各深度传感器获取的深度信息与各相机视角下采集的当前帧图像的彩色信息对齐的方法包括：

分别获取各所述相机、以及各所述深度传感器的内外参数、旋转矩阵、及平移向量；

依据各所述深度传感器的所述内外参数，将各所述深度传感器获取的所述深度信息转化为三维点云数据，并通过在图像坐标系下生成对应的图像坐标集合予以表示；

依据各所述深度传感器的所述旋转矩阵、及平移向量，将所述三维点云数据对应于图像坐标系下的图像坐标集合转化为对应于世界坐标下的世界坐标集合；

将各所述深度传感器对应的所述三维点云数据集合于一世界坐标系下的总世界坐标集合；

将所述总世界坐标集合分别转化至各所述相机对应的相机坐标系下的相机坐标集合；

根据各所述相机的所述内外参数得到在各所述相机视角下的深度图像，以实现所述彩色信息与所述深度信息对齐。

3.根据权利要求1所述的深度信息补全方法，其特征在于，所述实际场景中区分前后景的特点，包括以下中的任意一或多种：

A、基于前景目标的显著性，越靠近图像中间的像素属于前景目标的概率越高；

B、场景的深度信息并不连续，前景目标和后景物体在深度值上存在分界线，在前景目标和背景物体之间存在深度信息的断层；

C、背景物体较大概率处于静止状态，依据其深度信息作为参考信息。

4.根据权利要求3所述的深度信息补全方法，其特征在于，所述利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板的方法包括：

根据特点A，预先根据任意一所述相机所获取图像的分辨率生成高斯模板以模拟场景中的前后景分布，所述模板公式为：

预设场景中最近和最远点的深度信息阈值分别为Z_min和Z_max；

在无活动目标的情况下，基于当前所述相机视角下获取参考图像R的相关信息；和/或，在有活动目标的情况下，基于当前所述相机视角下拍摄的视频数据获取运行过程中的当前帧图像I的相关信息；

分别获取参考图像R和当前帧图像I中像素点的深度信息概率统计H_I和H_R，计算公式如下：

依据公式剔除所述背景物体对当前帧图像影响的深度信息概率得到：H′_I＝H_I/H_R；

根据特点B，H′_I在前景点深度位置存在波峰，得到所述当前帧图像中前景的深度信息为：

Z_f＝{i|max(b′_I-i),i∈[Z_min,Z_max],b′_I-i∈H′_I}；

所述当前帧图像中后景的深度信息默认为0；

依据上述各所述深度信息可以获得所述当前帧图像的对应的初始前景模板、及初始后景模板的组合M_o为：