[发明专利]基于图像块二值化哈希表示的实时的稠密光流计算方法

说明书

本发明公开了一种基于图像块二值化哈希表示的实时稠密光流计算方法，包括：输入两帧连续的图像，将其转换为灰度图；根据灰度图构建图像金字塔；通过编码函数处理图像金字塔，得到各个图像块的二值化哈希表示；在图像金字塔中的最小尺寸图像上随机初始化NNF映射；在最小图像尺寸上运行分块式PatchMatch算法，得到该层次的NNF映射；借助上层图像金字塔中计算得到的NNF映射，对当前层NNF映射进行初始化；在当前层运行PatchMatch算法，优化当前层NNF映射；循环执行前两个步骤至原始图像尺寸，得到最终光流估计。该方法提高了图像块特征提取和相似性计算的效率，在不失准确性的前提下，实现高实时性的稠密光流计算。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于图像块二值化哈希表示的实时稠密光流计算方法。

背景技术

光流计算的计算机视觉领域中一个基本且重要的问题。求解光流即求解图像序列中像素点的瞬时运动，在目标跟踪、运动预测、三维重建、机器人导航等任务中，起到十分重要的作用。

现有的光流算法可大体分为基于区域匹配的方法、基于梯度的方法、基于相位的方法和基于能量的方法。根据光流估计结果的稠密性又可分为稀疏光流和稠密光流。稀疏光流往往针对图像中少量的特征点计算，而稠密光流则需要计算图像中所有像素的光流。对于稠密光流的估计而言，基于区域匹配的方法较为常用。相较于其他光流算法，基于区域匹配的方法运算速度更快，且对于偏移量较大的光流往往能够给出更准确的估计结果。

在Barnes等人于2009年提出PatchMatch算法中，通过构建并优化最近邻场NNF(nearest-neighbor field)，得到两幅包含同一场景的不同图像I₁和I₂的像素对应关系。NNF是一个定义在图像I₁上的映射函数f：若f(a)＝b，其中a、b分别为图像I₁、I₂中某个图像块中心坐标，则表示b对应的图像块为图像I₂中与a最相似的图像块。因此，通过求解NNF即可得到稠密的像素对应关系。经典的PatchMatch算法，包含以下步骤：

1、以[-r_max，r_max]×[-r_max，r_max]平面上均匀分布随机初始化NNF映射，其中r_max为最大偏移量。

2、在未达到收敛条件时，执行以下过程：

(a)考虑NNF通常具有较强的平滑性，若f(x-1，y)或f(x，y-1)处存在关联性较好的映射，可向f(x，y)进行传播。f(x，y)处的映射取argmin_f{D(f(x，y))，D(f(x-1，y))，D(f(x，y-1))}，其中D(·)表示在特定映射关系下两图像块的距离。算法中，一般需要更换传播方向，例如在第偶数次迭代中，取argmin_f{D(f(x，y))，D(f(x+1，y))，D(f(x，y+1))}，将映射从右下向左上传播。

(b)在相邻图像块之间进行映射传播后，还需要在更大地范围内进行随机搜索。令v₀＝f(x，y)，则在以v₀为中心，不同的搜索半径下，随机寻找更好的映射关系，搜索位置取u_i＝v₀+wαⁱR_i，其中R_i为[-1,1]×[-1,1]这一二维平面上的均匀采样，w为最大搜索半径，α为指数衰减系数，取i＝0，1,2，…，直到搜索半径wαⁱ小于一个像素。

相关的众多光流算法方法，尤其是稠密光流算法通常耗时过长，鲜有算法能够达到较高的实时性，因此限制了光流估计在机器人导航、实时三维重建等对算法实时性要求较高的场景中的应用。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。