[发明专利]一种实时全景视频拼接显示装置及其方法

说明书

本发明属于嵌入式计算机视频处理技术领域，特别是涉及一种实时全景视频拼接显示装置及其方法。传统的全景视频拼接显示通常由多路相机采集视频数据后，在工作站或PC机等装置进行处理，且实时性差。本发明目的是克服传统全景视频拼接显示实时性上的不足，设计了一个专用的嵌入式装置及其相应方法。该装置可以接收六路不同角度的视频输入，经处理后实时显示任何视角的视频。本发明的技术方案是在多核DSP上实现实时视频拼接处理及全景漫游处理，由FPGA实现实时视频数据采集、缓冲和送显。

技术领域

本发明属于嵌入式计算机视频处理技术领域，特别是涉及一种实时全景视频拼接显示装置及其方法

背景技术

近年来，全景视频因其具有视场大、沉浸感强等特点在许多领域得到了广泛应用，基于多路相机的全景拼接分辨率高、图像畸变小，成为应用的热点内容，但由于多路视频拼接算法计算量大，通常无法实现实时处理，因此处理过程通常在工作站或PC机等设备完成。

发明内容

本发明目的是克服传统多路相机的全景视频拼接显示技术实时性上的不足，实现六路相机的全景视频的实时拼接，同时根据可变的视角信息，将指定视角的视频进行显示，实现全景视频的漫游显示。

本发明的技术方案是在多核DSP上实现视频实时处理算法，包括图像畸变矫正算法，全景图拼接算法和全景漫游算法；由FPGA实现全多路实时视频数据采集、缓冲和送显。

一种实时全景视频拼接显示装置，包含以下三个部分：

一个FPGA，接收六路相机发送的数字视频信号，将视频数据打包送交多核DSP进行处理，接收多核DSP返回的待显示数据，将其组织成包含视频同步信号的数字信号，FPGA连接DDR3 SDRAM，缓存视频数据；

一个多核DSP，接收打包好的视频数据，进行全景视频拼接及全景漫游；多核DSP连接DDR3 SDRAM，用于拼接算法中间处理过程的数据缓存及输入输出数据的缓存；

一个DVI视频编码器，用于把处理后的数字视频信号转为显示器可识别的DVI视频信号。

一种实时全景视频拼接显示方法，包括以下步骤：

第1步、六路外部相机将实时采集到的视频信号送入FPGA；

第2步、FPGA从视频信号中提取中有效视频信息，写入FPGA连接的DDR3 SDRAM缓存；

第3步、FPGA连接的DDR3 SDRAM中根据地址划分了3个缓冲区，这3个缓冲区环形排列，对于输入的六路视频数据，FPGA将其在单个缓冲区中顺序排列存放；

第4步、FPGA根据多核DSP发送来的缓冲区切换指令，从FPGA连接的DDR3 SDRAM中的3个缓冲区中的指定编号的缓冲区中读出缓存的一帧六路视频的数据，打包成SRIO数据包，通过SRIO总线写入多核DSP连接的DDR3 SDRAM中指定的接收缓冲区；

第5步、多核DSP中的六个DSP核心，对应核心1～核心6，读取图像矫正缓冲区中的原始数据，由六个DSP核心并行运行图像矫正畸变算法，图像畸变矫正算法根据相机先验的内部参数及外部参数信息将原始视频数据矫正为无光学畸变的图像数据，这些数据写入图像拼接缓冲区；

第6步、多核DSP中的一个DSP核心，对应核心0，读取图像拼接缓冲区中的矫正后图像，结合全景拼接映射矩阵，生成拼接后的全景图像，该全景图像为球面全景图，并将其写入全景图像缓冲区中的一个缓冲区；

第7步、多核DSP通过SRIO总线从多核DSP连接的DDR3 SDRAM中的结果位置读取图像数据，经过本地同步后组成符合VESA格式的数字信号经过FPGA发送到视频编码芯片；

第8步、DVI视频编码器将FPGA送来的视频数据编码成为显示器可识别的DVI视频信号，最终在显示器上显示。