[发明专利]深度信息补全方法及其装置、监控系统和存储介质

说明书

本发明提供的深度信息补全方法及其装置、监控系统和存储介质，通过以深度传感器探测得到的深度信息为基础，依据初始的深度信息判定场景的前后景关系，生成初始前后景模板，再通过图像处理计算得到存在待处理区域并确认其上每个像素的归属，最后利用计算机视觉中的抠图算法精确地恢复待计算区域的前后景归属，从而获得更加精准对齐的RGBD数据。本发明能够在实际场景或目标中针对不同物体边缘得到的精准的深度信息限制，且适应多种场景的限制，具有一定通用性。

技术领域

本发明涉及数字图像处理技术领域。尤其是涉及一种深度信息补全方法及其装置、监控系统和存储介质。

背景技术

近年来随着采集及相应的光场数据处理发展越来越快，利用光场成像作为监控系统的全新输入源，逐渐得到重视。其不仅可以模拟大孔径成像，提高监控系统的监控视野，最关键的在于该系统可以解决由于遮挡导致的信息不全，即透过遮挡看到后方信息。此外基于三维信息重建和立体全景相机深度测量的定位追踪系统，也有效提升了重点布防场景中定位准确性的需求。

在光场监控系统中较为关键是的光场渲染算法中渲染后的帧数据的每个像素点以一系列相机采样像素点为输入。光场渲染由于通过不同姿态和位置的相机充分采样了空间中的物点反射光线，进而做到去遮挡的功能，从而移除了指定焦平面与相机系统之间的物点遮挡，得到遮挡后的物点成像。而为了实现这一功能，获取场景中每一个物点的深度信息是至关重要的。

目前在工程应用上，深度信息的精细求取非常困难，有一部分纯算法方案利用双目(多视角)立体视觉算法进行计算获取对应像素点的视差，进而转换得到深度信息，但是纯视觉算法依赖于场景的RGB数据，受到了实际场景的限制，并不能做到通用性。

近些年来，借助深度传感器(结构光、TOF、毫米波等)，根据对应的成像原理，能够生成较为精确的深度信息，但仍然由于场景和目标的实际情况，造成部分像点深度信息的缺失。在不同的物体边缘得到的深度信息并不理想。例如在人脸为主体目标的情形中，头发和皮肤部分由于其材质的特殊性，会造成不同程度的深度信息与RGB数据边缘不吻合。在光场监控系统中，深度信息与RGB信息在前景目标上的吻合性对于去遮挡功能有着至关重要的作用。因此，亟需一种在借助深度传感器的基础上能够补全深度信息的方法或装置，以应对不同实际场景或目标。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种深度信息补全方法及其装置、监控系统和存储介质，用于解决现有技术中在实际场景或目标中不同物体边缘得到的深度信息不理想的问题。

为实现上述目的及其他相关目的，本发明提供一种深度信息补全方法，应用于包含至少一个相机、及至少一个深度传感器的监控系统，所述方法包括：将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐；利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板；分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域；结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板；通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。