[发明专利]RGBD视频中基于局部刚性假设的场景流估计方法

说明书

本发明公开的RGBD视频中基于局部刚性假设的场景流估计方法，首先，分别输入连续两帧RGB图像和深度图像，并计算连续两帧RGB图像之间的光流信息；其次，根据坐标转换配准输入的深度图像和RGB图像，修复深度图像中的洞和消除噪声点；然后，使用K‑means算法对修复后的深度图像分层，将深度值接近的像素值分为同一层；然后使用局部刚性全局非刚性假设将每一层分成许多的块并计算每个块的运动信息；最后，根据光流信息和深度图像的分层信息得到最终的场景流信息。本发明公开的方法与传统的计算场景流的方法相比，具有较高的精度。

技术领域

本发明属于计算机数字图像处理技术领域，具体涉及一种RGBD视频中基于局部刚性假设的场景流估计方法。

背景技术

光流是指空间运动物体在观察平面上的像素运动的顺时速度，表达了图像的变化，由于它包含了目标运动的信息，因此，可被观察者用来确定目标的运动情况。由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。

通常3D场景流(Scene Flow)被看作是二维光流到三维的扩展，它能够描述空间物体运动所形成的三维运动矢量。近年来随着计算机技术的发展，场景流即相关技术研究也得到了迅速的提升和广泛的应用。在理论方面，场景流的计算方法由传统的双目立体视觉发展到用RGBD方法估计场景流。在应用方面，场景流技术可以应用于虚拟现实，目标检测，跟踪与识别等。目前，计算场景流的方法主要有两种，分别是基于双目立体视觉和基于RGBD计算场景流。前者主要是通过左右两个相机同步拍照，获得左右图像。对左右图像进行匹配，能够获得左右光流，进而得到场景流的估计。这种方法由于估计视差图而额外消耗时间的同时容易受到噪声和异常点估计的影响。随着深度传感器的诞生，基于RGBD方法成为计算场景流的主要方法。与前者相比，基于RGBD方法能够直接利用传感器获取较为精确的深度信息，因此能够提高计算准确性并节省计算时间。但是基于RGBD方法在遮挡处容易造成误差甚至错误。分层场景流方法针对RGBD方法这一缺点，分别对平滑性和不连续性建模，进而能够对遮挡的边界部分进行真实性建模；在边界建模中，对已知的场景的相对深度进行排序，进而将场景分成不同的层，然后针对不同的层次分别进行处理。现有对层处理的方法采用全局刚性的假设，由于被分割到同一层的像素可能存在不同的运动方向，因此估计出的场景流会存在误差。本文提出了一个全局非刚性运动，局部刚性假设，将同一层分成不同的块，通过估计不同块的运动来估计每层的运动，实现精确的估计。

发明内容

本发明的目的是提供一种RGBD视频中基于局部刚性假设的场景流估计方法，解决了现有研究方法由于局部区域场景流估计存在误差导致全局区域场景流估计不准确的问题。

本发明所采用的技术方案是，RGBD视频中基于局部刚性假设的场景流估计方法，具体操作过程包括如下步骤：

步骤1，分别输入连续两帧RGB图像和深度图像，并计算连续两帧RGB图像之间的光流信息；

步骤2，根据坐标转换配准输入的深度图像和RGB图像，修复深度图像中的洞和消除噪声点；

步骤3，使用K-means算法对修复后的深度图像分层，将深度值接近的像素值分为同一层；

步骤4，使用局部刚性全局非刚性假设，将深度图像的每一层分成许多块，计算每一块的运动信息，得到深度图像的运动信息；

步骤5，根据步骤1得到的RGB图像的光流信息和步骤4的深度图像的每一层的运动信息，计算得到最终的场景流信息。

本发明的其他特点还在于，

优选的，步骤2中将深度图像中的噪声根据深度值为0的连通区域的大小区分为洞和噪声点，然后根据区域相似性和颜色一致性修补洞，采用双边滤波消除噪声点。

优选的，步骤2的具体过程如下：