[发明专利]一种基于FPGA的实时图像处理方法

说明书

本发明提供一种基于FPGA的实时图像处理方法，包括：按行将一帧源图像向FPGA的片外存储器DDR中开始缓存；一帧源图像在片外存储器DDR中缓存达到预设行数n后，对片外存储器DDR中的源图像同时进行旋转、平移、缩放、裁剪和翻转操作进行计算以获得目标图像的图像数据，并在一帧源图像在所述片外存储器DDR中缓存第n+1行的同时开始读出所述目标图像的图像数据，其中，n为正整数，且n的取值小于一帧源图像的总行数，以实现小于一帧图像完全储存到内存中即开始输出，从而缩短了输出延迟的时间，不需要等待源图像一帧完全储存到内存，就可以开始目标图像的输出，提高了实时性；还对源图像同时进行所述旋转、平移、缩放、裁剪和翻转操作。

技术领域

本发明涉及图像处理领域，特别涉及一种基于FPGA的实时图像处理 方法。

背景技术

在图像处理领域，经常需要在一些场景(例如稳拍、3D摄像、VR、 4K/8K高精度拼图等场景)下对图像进行翻转、缩放、旋转、平移、裁剪 等操作。其中，翻转指对图像进行左右翻转，缩放指以图像中心为原点对 图像进行尺寸的变换，旋转指以图像中心为原点进行顺时针或逆时针旋 转，平移指对图像进行上下、左右的移动，裁剪指保留图像中心部分，将外围部分设置为某固定色如黑色。源图像1经过翻转、缩放、旋转、平 移、裁剪等操作以得到目标图像2的示意如图1所示。

目前，在旋转、平移、缩放三种操作中，对于图像的旋转操作较多， 具体如下：1.例如通过视频格式转换器等对图像做90度、180度等固定的 旋转操作；2.例如通过数字防抖等做微小角度的旋转操作。上述操作无法 实现对图片的角度进行实时、可变的旋转。

当前的旋转和平移操作基本都是需要在源图像一帧完整的保存到内存 中后，才会开始进行旋转和平移操作，这样就会导致输出图像至少有一帧 的延迟(如CN106530209A)；对于图像的缩放操作大多是采用单独的功能 模块，且需要在源图像一帧完整的保存到内存中后才会开始进行操作(如 CN112017107A)。另外，如果按照现有的翻转、缩放、旋转、平移、裁剪 等功能模块按照顺序简单的进行堆叠，则会造成输出图像更大的延迟。而 在实际应用中，图像的翻转需要根据相机的实际情况进行配置；很多场合 对图像的旋转的角度不能是简单的90度、180度等，而是需要旋转自定义 的角度；图像的放大的倍率不能是固定的如1.5倍、2倍等，而是需要自定 义的放大倍数；平移和裁剪的像素数也同样需要根据实际情况进行自定 义。

发明内容

本发明的目的之一在于，提供一种基于FPGA的实时图像处理方法， 可以减少延迟提高实时性的同时，将翻转、缩放、旋转、平移、裁剪等操 作在一次映射过程中完成。

本发明的另一目的在于，翻转、缩放、旋转、平移、裁剪操作的参数 是可调节的。

为了解决上述问题，本发明提供一种基于FPGA的实时图像处理方法， 包括以下步骤：

S1：按行将一帧源图像向FPGA的片外存储器DDR中开始缓存；

步骤S2：一帧所述源图像在所述片外存储器DDR中缓存达到预设行 数n后，对所述片外存储器DDR中的所述源图像同时进行旋转、平移、缩 放、裁剪和翻转操作进行计算以获得目标图像的图像数据，并在一帧所述 源图像在所述片外存储器DDR中缓存第n+1行的同时开始读出所述目标图 像的图像数据，

其中，n为正整数，且n的取值小于一帧源图像的总行数。

可选的，步骤S1包括：

建立仿射变换矩阵M，以对所述源图像的缩放、旋转和平移操作进行 组合；

根据所述源图像的缩放、旋转和平移操作的参数计算所述复合仿射变 换矩阵M；以及

按行将源图像向FPGA的片外存储器DDR中开始缓存。

进一步的，其特征在于，所述仿射变换矩阵M如下：