[发明专利]一种复杂场景视频阴影检测与消除方法

说明书

本发明公开了一种基于深度信息的视频阴影检测与消除方法，首先利用图像的深度信息估计出各个像素点的法线信息、点云位置信息，通过比较各个像素点及其视屏流中时空局部邻域像素点间的特征相似度，估算出每个像素点的阴影置信度值，并利用拉普拉斯算子对阴影置信度进一步优化得到最终的阴影检测结果，最后利用阴影检测结果构建基于视屏流的光照恢复优化方程，得到最终的阴影消除结果。本发明有如下优点：利用纹理滤波有效减少纹理信息对阴影检测的干扰，利用拉普拉斯算子对初始阴影置信度进行优化，得到更完善的阴影检测结果，利用色度约束和前后帧的相关性消除阴影，可有效保证结果的色度不变性和帧间连续性。

技术领域

本发明属视频处理技术领域，尤其涉及一种复杂场景视频阴影检测与消除方法。

背景技术

阴影是我们日常生活中常见的自然现象，它们可以为视觉场景的理解提供重要信息，例如光照环境、场景几何等信息。这些信息对于光照分析、重光照、增强现实等应用有着重要的作用。因此，有效地检测并消除阴影在计算机视觉领域是一个重要课题。然而，自动检测并消除阴影是一项非常困难的任务，它不仅受局部纹理材质信息的影响，还需要考虑场景中的全局结构信息及光照环境信息。现有的大多数阴影检测与消除算法都是基于局部色度信息和梯度信息等进行阴影的检测与分类，没有考虑到全局结构信息，因此这类算法通常无法有效处理复杂阴影以及复杂场景中的阴影。

复杂场景中的阴影处理工作是指在复杂环境中，利用全局信息以及局部信息自动地检测并消除阴影，同时，阴影消除结果应当保留场景中的明暗渐变信息，防止视觉失真。造成复杂场景阴影消除比较困难的原因主要有两个方面，首先复杂场景中的材质纹理信息较为丰富，阴影分布也比较杂乱不集中，为检测工作增加了难度，即使借助人工交互先验知识，复杂的阴影场景会增加标注负担，且难以进行高效的批处理；其次，复杂场景阴影图像由于标注困难，缺少对应的数据集，难以利用深度学习的方法消除大场景中的阴影。针对这样的问题，本算法提出一个基于图像深度信息的复杂场景阴影自动检测与消除算法，该算法不需要人工交互与采集图像的深度信息，利用现有的图像深度估计算法估测出的图像深度信息，即可检测并消除复杂场景中的阴影。

发明内容

本发明针对现有技术的不足，提供一种基于深度信息的复杂场景视频阴影检测与消除方法。

本发明的技术方案为一种复杂场景视频阴影检测消除方法，包含以下步骤：

步骤1，对于输入视频流V，获取其深度信息；

步骤2，对每一帧输入视频帧I，利用纹理滤波算子进行滤波处理，减少纹理影响的同时保留视频帧中的阴影信息；

步骤3，对每个滤波后的视频帧T_i，选取其相邻的相关视频流,找出视频帧中每个像素点的初始阴影置信度和亮度置信度，并对每一帧的阴影置信度进行优化，得到最终的视频阴影检测结果；

步骤4，利用阴影置信度和亮度置信度的全变差和固有变差，进一步计算出阴影边界置信度；

步骤5，得到每一帧的阴影检测结果后，利用阴影图像模型β＝I/F将当前帧图像I分解为无阴影的图像F和阴影因子β，并构造去阴影优化方程对每一帧进行约束和优化；

步骤6，对去阴影优化方程进行迭代优化求解，得到最终的视频阴影消除结果F和阴影因子β。

进一步的，步骤3的具体实现包含以下子步骤：

步骤3.1，利用每一视频帧的深度信息，结合相机参数进行点云估计，得到各像素点的点云的信息后，利用点云信息构建k-d树，对每个像素的点云找到其最相似的若干个点云，再利用这些相似点云计算该像素点所在空间切面的法线信息；