[发明专利]一种基于FPGA的多路视频拼接系统及方法

权利要求书

1.一种基于FPGA的多路视频拼接系统，其特征在于，包括多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括实时时钟模块和GPS模块，所述实时时钟模块和所述GPS模块用于在视频或图片中添加拍摄时间和拍摄地点信息。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括陀螺仪，用于防止拍摄过程中产生的抖动，以提升拍摄的质量。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括SD卡和WIFI通讯模块，以通过WIFI连接智能终端，将视频数据传输到智能终端，在智能终端的APP中可进行实时预览拼接视频，并通过智能终端可发送拍摄指令，当ASIC视频处理芯片接收到拍摄指令后，将视频或图片保存在设备的SD卡中。

5.一种基于权利要求1至4任一项所述的基于FPGA的多路视频拼接系统的拼接方法，其特征在于，包括如下步骤：

步骤S1，初始化多路视频拼接系统，并使用同一配置线同时对多路视频拼接系统的每个摄像头进行初始化配置，所述初始化配置包括视频处理芯片、FPGA芯片、图像ISP设置以及视频多拼接模式的初始化配置文件；

步骤S2，采集图像，并通过FPGA实时地读取每路摄像头的视频数据，以进行图像的畸变矫正；

步骤S3，将畸变矫正的视频数据通过FPGA进行图像融合；

步骤S4，将图像融合后的视频数据进行视频压缩编码处理，生成可传输的拼接视频。

6.根据权利要求5所述的方法，其特征在于，所述步骤S2中多路视频拼接系统采用全套自主可控的图像ISP处理算法进行图像采集，具体包括；

首先，利用多路视频拼接系统的各个摄像头采集Bayer格式的Raw图像；

然后，将Raw图像发送给ISP，并经过ISP算法处理，输出RGB空间域的图像给后续的视频采集单元；

其中，该系统提供的自主可控的ISP处理算法具体包括自动白平衡(AWB)校正、色彩校正矩阵(CCM)、镜头阴影校正(LSC)以及颜色紫边校正(CAC)。

7.根据权利要求6所述的方法，其特征在于，所述步骤S2采用计算坐标映射表的方法进行图像的畸变矫正，具体包括如下步骤：

步骤S21：对给定的多路视频拼接系统，利用棋盘格标定方法计算出各个镜头的内参数和畸变系数，相邻镜头之间的空间关系参数；

步骤S22：利用镜头的内参数和畸变系数以及镜头之间的空间关系参数计算出原始图像与目标图像之间的坐标映射表,坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的目标图像中像素点坐标之间的一对多的对应关系,其中，目标图像为去畸变的图像；

步骤S23：根据所述的坐标映射表将各个鱼眼镜头拍摄到的原始图片映射到目标图像上，将所述目标图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系。