[发明专利]一种基于FPGA的稠密光流计算系统及方法

说明书

本发明公开了一种基于FPGA的稠密光流计算系统及方法，其中，系统包括部署在主机上的软件系统以及部署在FPGA上的稠密光流计算模块，系统中从主机端获取连续两帧的图片像素信息，经过平滑化处理、多项式扩展、中间变量计算、计算光流等步骤计算得到光流。通过FPGA内部反复调用计算核心模块能够实现图像金字塔与迭代光流计算。最终计算结果返回主机端。本发明的稠密光流计算系统运用数据流、流水线、分离式卷积、block RAM阵列存储等方法，能够实现高效计算稠密光流，稠密光流结果可靠性高，可达到实时处理，低功耗的要求，保证其实用性。

技术领域

本发明属于计算机可重构加速领域与计算机视觉领域，尤其是涉及一种基于FPGA的稠密光流计算系统及方法。

背景技术

可重构计算是一种新型的计算模式，在加速领域备受青睐。与通用处理器CPU等相比，可重构计算具有可定制性的优点，能够为应用定制电路实现加速效果；与专用集成电路ASIC相比，可重构计算能够根据需要实现内部电路重构，更具有灵活性。FPGA即现场可编程逻辑阵列正是一种可重构硬件，本质上是一种无指令、无共享内存的体系结构，能够更好地对一些计算密集型任务进行加速。

在计算机视觉领域，针对视频处理，除了连续两帧的图片的像素点信息之外，往往需要通过分析视频连续两帧的关系，得出额外信息以供进一步分析。光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度，即针某个像素点，其光流就是下一帧图片中该点位置的偏移，在平面图片中，光流即为下一帧图片中该点横纵坐标的偏移。光流常被应用在目标检测，目标跟踪，目标识别，物体弱运动，步态分析，运动估计等场景中，尤其是在基于视频的机器学习领域，光流常常被作为视频流的另一个特征流，共同作为神经网络的输入。

光流法即求解光流的方法。根据求解图片光流的多少，可以分为稠密光流与稀疏光流。稠密光流即对图片的每一个像素点求解，稀疏光流只对图片的部分点求解。

求解光流的方法种类繁多，大致有基于匹配、基于梯度、基于能量、基于相位、神经动力学等方法。

公开号为CN107527358A的中国专利文献公开了一种稠密光流估计方法及装置，包括：根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像；根据所述初始化稀疏光流生成稀疏光流掩码；将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。

通常具有实时性要求的光流计算系统往往采用稀疏光流，减少计算量，只对关心的位置进行光流求解，进而满足实时性要求。由于稠密光流需要计算图片每一个点的光流，属于计算密集型任务，很难同时满足实时性与有效性的要求。而针对神经网络的训练，往往需要输入基于全局考虑所产生的稠密光流。

发明内容

针对现有技术中稠密光流计算时间较长、耗能较大的缺陷，本发明提供了一种基于FPGA的稠密光流计算系统及方法，在保证有效的稠密光流输出的同时，可以大大节约了稠密光流计算的时间与能耗。

一种基于FPGA的稠密光流计算系统，包括部署在主机上的软件系统以及部署在FPGA上的稠密光流计算模块，在进行稠密光流计算时执行以下步骤：

从主机的软件系统端获取连续两帧图片数据以及已知的原光流数据传入稠密光流计算模块中，稠密光流计算模块实现对两帧图片稠密光流的计算，并将计算的光流结果返回至软件系统；

所述的稠密光流计算模块包括：

两个图像平滑化处理模块，用于将接收到的连续两帧图片进行平滑化预处理；

一个多项式扩展模块，用于对平滑化处理后的图片上每个像素点及周围的邻域进行采样，通过最小二乘法计算超定方程，得出二维图片每个像素点的六个维度(1,x,y,x²,y²,xy)的系数；