[发明专利]一种基于FPGA的图像金字塔光流值计算方法及系统

说明书

本发明公开了一种基于FPGA的图像金字塔光流值计算方法及系统，将第K帧和第K+1帧图像作为输入，经异步FIFO实现位宽和时钟的切换后写入DDR中；以第K帧特征点的坐标作为输入，从DDR中读取以第K帧特征点为中心的连续两帧图像所需最大像素窗口，隐式的创建图像金字塔；对读取的最大像素窗口进行双线性插值，筛选满足特征验证条件的特征点；对筛选后的特征点进行光流的双向估计与迭代求解，经特征点光流的双向估计与迭代求解，得到图像金字塔第1层中第K帧特征点在第K+1帧中的坐标，将图像金字塔第1层中第K+1帧特征点的坐标作为第K帧特征点经光流计算最终得到的结果。本发明使用金字塔的逐层估计，并在每层金字塔中使用了双向估计与迭代求解，大大提升了光流估计的精度。

技术领域

本发明属于FPGA平台算法硬件加速技术领域，具体涉及一种基于FPGA的图像金字塔光流值计算方法及系统。

背景技术

近年来，随着各种硬件平台的迭代更新，而原有算法不能满足实时性要求的前提下，算法硬件化加速获得了人们的研究兴趣。光流法是计算机视觉中一个基础算法，可广泛用于运动检测、运动估计及视频分析等领域，由于匹配计算的高度复杂性，对于实际应用环境来说通常是一项非常具有挑战性的任务，难以实现处理的高速度和高精度。同时，为了避免两帧物体运动位移较大情况下算法的误差影响，建立图像金字塔对光流来说不可或缺，这需要大量的计算能力和存储区域。因此，为了实现高分辨率的实时处理，设计特定应用的光流系统变得至关重要。

光流法最大的问题是计算复杂、速度慢，限制了它在实际系统尤其是嵌入式系统中的应用。基于FPGA计算光流可以大大缩短开发周期，在并行数据处理和流水线体系结构的设计上具有较大优势，能够使光流定位达到又快又准的效果。现有的基于FPGA加速的光流法硬件设计主要分为两类，第一类是在原有光流法基础上省去了图像金字塔的建立，另一类是在原有光流法基础上省去了每层光流计算中的双向估计与迭代过程。

现有一种划分子图像的方法用来减小所需的电路尺寸，但忽略了实现图像金字塔的重要性。光流法的假设中包括小运动这一前提，在两帧间物体运动快速时，省去金字塔容易导致大量特征点跟踪失败，对物体旋转及较大几何变换敏感，误匹配率高。

现有一种改进的基于KLT特征跟踪器的无人机返回框架，并集成了多种优化方法设计了硬件加速架构。虽然实现了图像金字塔的创建，但仅单纯依靠金字塔结构将图像的大运动分解成符合光流计算假设条件的小运动，忽略光流计算的双向估计和迭代过程，精度难免造成损失。

显然，这两类设计虽然在时间运行上得到一定程度的改善，但在精度上会逊色于OpenCV的光流法。

综上所述，尽管基于FPGA加速的光流法硬件设计已经存在多种解决方案，但是仍缺少一种兼顾光流金字塔实时性及保证特征点跟踪的精度的方法。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于FPGA的图像金字塔光流值计算方法及系统，基于FPGA平台，使用预读取特征点像素窗口的方法减少图像金字塔建立的时间和存储空间，改进光流模型，保留每层计算中的双向估计与迭代过程，优化方法的固有并行性来加速计算，兼顾了运行效率与精度。

本发明采用以下技术方案：

一种基于FPGA的图像金字塔光流值计算方法，包括以下步骤：

S1、将第K帧和第K+1帧图像作为输入，经异步FIFO实现位宽和时钟的切换后写入DDR中；

S2、以第K帧特征点的坐标作为输入，从步骤S1写入存储第K帧和第K+1帧图像的DDR中读取以第K帧特征点为中心的连续两帧图像所需最大像素窗口，隐式的创建图像金字塔；

S3、对步骤S2读取的最大像素窗口进行双线性插值，将双线性插值过后的窗口进行梯度求解，并对相应的特征点进行KLT特征验证，筛选满足特征验证条件的特征点；