[发明专利]多路4K准实时拼接视频的全景拼接算法

说明书

本发明公开了多路4K准实时拼接视频的全景拼接算法，涉及一种全景拼接算法，属于实时视频拼接技术领域；通过多个采集终端进行视频图像的获取；通过数据解码模块将获取的视频图像进行视频帧的数据解码，并通过帧图像预处理模块对解码后的帧图像进行预处理；将处理后的帧图像数据发送至中央处理器进行帧图像配准，帧图像配准具体包括特征点检测、特征点描述以及特征点匹配；配准后的图像数据发送至图形处理器，在图形处理器得到配准后的图像数据后通过像素缓冲区对加速图像进行渲染与显示；中央处理器将处理第N帧配准后的数据传递给图像处理器后，捕获第N+1帧图像解码数据，并在中央处理器处理，同时，在图像处理器进行第N帧图像融合。

技术领域

本发明涉及一种全景拼接算法，具体为多路4K准实时拼接视频的全景拼接算法，属于实时视频拼接技术领域。

背景技术

在日常生活中，时常需要获取宽视角、大场景的全景图像，但是由于摄像设备中物理因素的限制，一般只能得到大场景中的局部图像。一些硬件设备，如鱼眼摄像机和广角镜头虽然可以得到全景图像，但成本较高，不适合广泛使用。为了获取实时全局大尺度图像信息，在机场、码头、广场、交通路口等视野开阔的大型场景中，通常需要布设多台网络摄像机。这种方法虽然可以获得更多的监控范围，但是场景的显示被分割成多个子窗口，不能够自然全面地直接反映真实的场景。

近年来随着并行计算的发展，图像并行化处理受到广泛关注，实现了基于统一设备架构的实时拼接算法。但是在该算法中只是将图像的配准算法改为并行实现，由于显卡自身的限制，无法将配准与融合同时并行处理视频流中的每一帧图像。一种基于SURF和图像兴趣区的实时视频拼接解决方法，虽然有效解决了摄像机的抖动问题，滤除了鬼影，但是针对分辨率为320x240大小的图像，拼接平均耗时在130ms左右，实时性较差。

为了解决上述技术问题，本发明提供如下技术方案。

发明内容

本发明的目的在于提供多路4K准实时拼接视频的全景拼接算法，在ORB算法的基础上进行了改进，在配准的精度和速度上可以达到实时的需求。而在图像融合方面，由于大场景高清图像的数据计算量大，将融合算法修改为并行融合算法，使用CUDA技术将程序移植到具有大规模并行处理能力的显卡中执行，以满足系统的实时性需求。为了加速视频流中帧图像数据的显示，将CUDA计算后得到的图像数据使用OpenG1技术实现图像的渲染绘制，两者共享同一块帧缓冲区。

本发明的目的可以通过以下技术方案实现：

多路4K准实时拼接视频的全景拼接算法，传统的视频拼接的主要流程包括以下步骤：视频帧的数据解码，帧图像预处理，帧图像配准，建立变换模型，统一坐标变换，帧图像融合以及帧图像渲染；为了加快视频拼接的速度，达到实时的效果，在视频拼接的主要流程中加入两个并行模块，分别为图像融合并行模块与融合处理并行模块，所述图像融合并行模块是不同的采集终端间的并行执行，所述融合处理并行模块是内部多线程大规模的并行执行。

为了达到视频拼接的全覆盖，要求多个采集终端间实现采集视频的全包围，相邻两个采集终端间有一定的重合区域。

多路4K准实时拼接视频的全景拼接算法的具体实现方法包括以下步骤：

通过多个采集终端进行视频图像的获取；

将获取的视频图像进行视频帧的数据解码，并对解码后的帧图像进行预处理；

将处理后的帧图像数据发送至中央处理器进行帧图像配准，帧图像配准具体包括特征点检测、特征点描述以及特征点匹配；

配准后的图像数据发送至图形处理器，在图形处理器得到配准后的图像数据后通过OpenG1的像素缓冲区对加速图像进行渲染与显示，满足了高清图像帧拼接的实时性要求；

其中，中央处理器将处理第N帧配准后的数据传递给图像处理器后，立即捕获第N+1帧图像解码数据，并在中央处理器处理；同时，在图像处理器进行第N帧图像融合算法。