[发明专利]一种基于时间一致性的双目视频运动物体检测方法

说明书

本发明涉及一种基于时间一致性的双目摄像头运动物体检测方法，首先将t‑1帧计算的结果作为参数输入，利用超像素分割、立体匹配算法计算t帧的斜平面模型；然后，通过计算t帧的光流和自运动模型得到运动物体的初始运动模型；之后，通过t‑1帧计算的运动物体信息和t帧的超像素信息计算出场景流能量方程中时间一致性数据项；最后，根据以上计算的信息构建t帧的场景流能量方程，并使能量方程最小化计算出t帧的运动物体信息。应用本发明，解决了传统运动物体检测方法在计算t帧运动模型时没有关联t‑1帧计算的运动模型，导致运动物体检漏检和误检的问题。本发明适用于视频的运动物体检测，具有很好的鲁棒性，检测结果准确。

技术领域

本发明属于图像处理和计算机视觉领域，涉及车载视频运动物体检测的方法，具体为一种基于时间一致性，通过计算场景流检测运动物体的方法。

背景技术

在自动驾驶领域，运动物体检测是最为重要的一个部分。光学摄像头可提供大量的图像深度、颜色等信息，通过分析图像信息可以对运动物体进行分类并判断其对自车的危险性。运动物体检测主要有两个方面的研究：一是对于单张图像基于像素点的颜色、亮度等信息，通过特征点提取运动物体的外观信息，也就是外观检测；二是对于多张图像基于特征点匹配，通过计算场景流等来检测运动物体的运动信息，也就是运动检测。运动检测的目的是将图像的前景和背景分离，然后计算前景中所含有的运动物体种类和运动信息，其广泛应用于自动驾驶、智能机器人等领域。

目前关于运动检测的研究比较丰富，计算特征点的运动信息是运动检测的一个重要手段。从特征点的运动信息的计算方式来说，可以分为特征点的光流计算和场景流计算。光流为特征点在二维平面上移动的大小和方向，是一种顺时速度场即向量场。每一个像素的光流代表图像中每一点位置的变化。光流可分为稀疏光流场和稠密光流场，稀疏光流只计算图像中部分特征点的速度向量，而稠密光流场则计算整幅图像的速度向量。场景流是描述物体在三维坐标系下运动的大小和方向，也是光流在三维坐标系的投影。场景流同时含有图像的深度和运动信息，通过这些信息可更准确地分离前景和背景。现阶段场景流计算是基于前后两帧图像，通过构建能量公式求得图像场景流的方法。此方法虽然计算的场景流较准确，但计算量十分庞大且运行时间较慢。并且在计算新一帧图像的场景流时没有考虑前一帧检测的运动信息，不能保持物体运动的延续性，在新一次的计算过程中也可能丢失前一帧已检测出的运动物体。因此在检测结果中往往存在漏检和误检区域。

时间一致性通过建立前后帧的运动关联，能将前一帧的运动信息保存并能够作用于计算下一帧运动信息的过程中。最近，也有一些方法将时间一致性运用在计算场景流的过程中。然而，这些方法仅仅是用上一帧的运动信息对下一帧先验知识起到约束性作用，没有对场景流计算的过程起到约束作用，不能很好地体现时间一致性。

为了解决上述问题，当前需要一种新的基于时间一致性的场景流计算方法。

发明内容

本发明要解决的问题是：在视频的场景流计算技术中，单纯依靠构建场景流能量公式，将能量公式最小化来求场景流有很大的不稳定性。并且在计算过程中，每一帧都要通过重新计算场景流来计算场景中的运动物体，不会考虑前一帧已检测出的运动物体和后一帧运动物体的联系，使得计算量巨大并且不能保持物体运动的连续性。因此传统方法在上一帧检测出的运动物体在后一帧可能会被漏检，需要提出一种新的基于时间一致性的场景流计算方法，保证物体在连续帧之间的连续性，从而提高运动物体的检测效果。

为了解决上述问题，本发明提供了一种基于时间一致性的双目视频运动物体检测方法，以超像素为检测单位，融合图像的运动信息和深度信息，基于斜平面模型加入时间一致性的场景流计算，包括以下步骤：

1)获得t-1帧计算的运动标签和对应的运动模型，计算t帧的斜平面模型、自运动模型和初始物体运动模型；

2)根据t-1帧的运动标签和运动模式，预测同一运动物体在t和t+1帧图像中的位置，并计算出t帧的场景流能量方程中时间一致性数据项；