[发明专利]一种面向大尺度运动的光流估计方法

说明书

技术领域

本发明属于图像信息处理技术领域，特指一种面向大尺度运动的光流估计方法。

背景技术

光流估计指的是计算两幅或多幅图像之间的稠密像素对应关系的过程，光流估计是图像信息处理研究领域的基础性问题。光流估计在运动估计、视频压缩、图像配准、视图插值、三维重建等许多计算机视觉任务中都有重要应用。在过去一、二十年里光流估计方法得以广泛研究，光流估计的性能也取得了较大的进展。

目前，比较流行的光流估计方法是经典变形光流估计方法(T.Brox,A.Bruhn,N.Papenberg,and J.Weickert,“High accuracy optical flow estimation based on atheory for warping,”in ECCV,2004)或者基于该方法的改进版本。这类方法根据估计的光流计算第一幅输入图像的变形图像，然后计算该变形图像与第二幅输入图像之间的亮度、梯度差异，并通过数值方法对估计的光流进行迭代优化。对于图像中场景对象移动范围较小的情况，上述方法可以获得较高精度的光流估计结果，其缺点是不能处理包含大尺度运动的情形。

场景对象的大尺度运动可能导致场景对象在最终成像平面上的位置、大小发生较大变化，这种情况下的光流估计与传统的变化幅度较小的光流估计相比具有更大的挑战。针对大尺度运动的光流估计方法近年来开始引起学者关注。其中，大位移光流估计方法(T.Brox and J.Malik,“Large displacement optical flow:Descriptor matching in variational motionestimation,”IEEE Transactions on Pattern Analysis and Machine Intelligence,33(3):500-513,2011)利用较大的场景对象的运动来初始化整个图像的运动，然后通过多步迭代逐步求取更加细小的场景结构光流变化。上述方法的缺点是在小尺度场景对象的运动幅度超过较大的场景对象的运动幅度的情况下，该方法不能获得正确的光流估计结果。SIFT流估计方法(C.Liu,J.Yuen,and A.Torralba,“SIFT ow:dense correspondence across scenes and its applications,”IEEE Transactions on Pattern Analysis and Machine Intelligence,33(5):978-994,2011)计算图像中每个像素的SIFT特征，利用特征匹配和迭代优化方法计算图像间像素的对应关系。该方法可一定程度上提高大位移光流估计性能，但其精度局限于像素级，不能实现亚像素级光流估计。运动细节保持光流估计方法(L.Xu,J.Jia,and Y.Matsushita,“Motion detail preserving optical flow estimation,”IEEE Transactionson Pattern Analysis and Machine Intelligence,34(9):1744-1757,2012)可以处理包含复杂大尺度运动的光流估计，但该方法的运行效率远低于经典变形光流估计方法。

发明内容

为了解决现有技术的不足，本发明的目的在于提出一种面向大尺度运动的光流估计方法。本发明利用图像稀疏特征点匹配关系，构建图像初始光流和控制光流约束关系，在此基础上对光流进行迭代优化，实现包含大尺度运动的光流的精确、高效计算。

一种面向大尺度运动的光流估计方法，包括以下步骤：

第一步，图像预处理

若输入的图像为彩色图像，则先转化为灰度图。记输入的两幅图像(均为灰度图)分别为和图像宽度为W个像素、高度为H个像素，任意像素位置p＝(x,y)(x＝{1,2,…,W}，y＝{1,2,…,H})上图像灰度值记为I₁(p)＝I₁(x,y)、I₂(p)＝I₂(x,y)。其中，x为像素沿水平方向的坐标，y为像素沿垂直方向的坐标。