[发明专利]一种基于FPGA的多路视频拼接系统及方法

说明书

技术领域

本发明属于图像通信技术领域，具体涉及一种基于FPGA的多路视频拼接系统及方法。

背景技术

视频拼接技术采用以计算机技术以及图像处理为核心，从多个视频图像采集设备上同步获得位置及角度不同并有部分重叠区域的视频图像，通过图像配准及融合等技术而得到多路视频拼接图像。

目前，多路视频拼接系统的绝大部分都是采用嵌入式ARM方法实现的，嵌入式平台的处理器是串行处理的，它的处理速度有限，对数据量大以及计算复杂的视频拼接方法难以满足实时性要求；嵌入式平台的功耗通常很大，由于视频拼接要求处理大量数据，运算量大，这将使得处理器功耗增大，进而增加了多路视频拼接系统的散热设计难度；为了满足视频拼接的实时性要求，则必须采用高性能的嵌入式处理器，从而增加设计的成本。因此，基于嵌入式平台的多路视频拼接技术很难在移动平台上推广。

发明内容

现有技术中，多路视频拼接系统的绝大部分都是采用嵌入式ARM方法实现的，嵌入式平台的处理器是串行处理的，它的处理速度有限，对数据量大以及计算复杂的视频拼接方法难以满足实时性要求，为了解决这种问题，本发明提供一种基于FPGA的多路视频拼接系统，具体方案如下：

一种基于FPGA的多路视频拼接系统，包括：

多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。

其中，在上述系统中，所述系统还包括实时时钟模块和GPS模块，所述实时时钟模块和所述GPS模块用于在视频或图片中添加拍摄时间和拍摄地点信息。

其中，在上述系统中，所述系统还包括陀螺仪，用于防止拍摄过程中产生的抖动，以提升拍摄的质量。

其中，在上述系统中，所述系统还包括SD卡和WIFI通讯模块，以通过WIFI连接智能终端，将视频数据传输到智能终端，在智能终端的APP中可进行实时预览拼接视频，并通过智能终端可发送拍摄指令，当ASIC视频处理芯片接收到拍摄指令后，将视频或图片保存在设备的SD卡中。

本发明提供的基于FPGA的多路视频拼接系统，该系统可制作成手持式设备，便于携带，本发明制作成便携式的手持设备，并且可自带电池，可以随身携带进行全景视频拍摄，通过WIFI连接在手机APP上进行实时预览，同时设备实现视频存储功能，可将拍摄的视频储存在SD卡中。

本发明还提供了一种基于FPGA的多路视频拼接方法，具体包括如下步骤：

步骤S1，初始化多路视频拼接系统，并使用同一配置线同时对多路视频拼接系统的每个摄像头进行初始化配置，所述初始化配置包括视频处理芯片、FPGA芯片、图像ISP设置以及视频多拼接模式的初始化配置文件；

步骤S2，采集图像，并通过FPGA实时地读取每路摄像头的视频数据，以进行图像的畸变矫正；

步骤S3，将畸变矫正的视频数据通过FPGA进行图像融合；

步骤S4，将图像融合后的视频数据进行视频压缩编码处理，生成可传输的拼接视频。

其中，在上述方法中，所述步骤S2中多路视频拼接系统采用全套自主可控的图像ISP处理算法进行图像采集，具体包括；

首先，利用多路视频拼接系统的各个摄像头采集Bayer格式的Raw图像；

然后，将Raw图像发送给ISP，并经过ISP算法处理，输出RGB空间域的图像给后续的视频采集单元；

其中，该系统提供的自主可控的ISP处理算法具体包括自动白平衡(AWB)校正、色彩校正矩阵(CCM)、镜头阴影校正(LSC)以及颜色紫边校正(CAC)。

其中，在上述方法中，所述步骤S2采用计算坐标映射表的方法进行图像的畸变矫正，具体包括如下步骤：

步骤S21：对给定的多路视频拼接系统，利用棋盘格标定方法计算出各个镜头的内参数和畸变系数，相邻镜头之间的空间关系参数；

步骤S22：利用镜头的内参数和畸变系数以及镜头之间的空间关系参数计算出原始图像与目标图像之间的坐标映射表,坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的目标图像中像素点坐标之间的一对多的对应关系,其中，目标图像为去畸变的图像；