[发明专利]基于CUDA图像融合并行计算的方法

说明书

本发明公开一种基于CUDA图像融合并行计算的方法，该方法步骤包括：S1.图像分割：获取待融合的源图像并分别进行分割，得到分割后的多个子图像；S2.并行融合：将各源图像的子图像分别一一对应构成多组待融合子图像，各组待融合子图像分别通过不同CUDA核心并行进行图像融合处理，得到多组融合后子图像；S3.图像拼接：将步骤S2得到的各组融合后子图像进行拼接，得到最终的融合后图像。本发明基于CUDA实现图像融合的并行，具有实现方法简单、融合效率高且融合效果好等优点。

技术领域

本发明涉及图像融合技术领域，尤其涉及一种基于CUDA图像融合并行计算的方法。

背景技术

多源图像融合是以图像为研究对象的信息融合技术，它把对同一目标或场景使用不同传感器所获得的不同图像融合为一幅图像，在融合后的图像中能反映多重原始图像的信息，从而协同利用多源图像信息，使得不同形式的信息相互补充，达到对同一目标或场景的综合描述目的，使之更适合视觉感知或计算机处理。图像融合技术已经被广泛应用到目标检测、跟踪和识别以及情景感知等领域，常见的有红外图像与可见光图像的融合、遥感图像融合等。如图1所示，图像融合过程首先是将原定义在图像空间的图像通过图像变换算法转化到另一些空间，然后利用这些空间的特有性质进行处理，最后再转换回图像空间以得到所需的效果，对图像变换域系数进行的一定的处理即为融合规则；如图2所示，基于NSCT算法的图像融合时，分别对图像进行分解(decompose)，然后对变换后的子带系数进行融合，最后利用NSCT逆变换重构(reconstruction)得到融合图像。

目前用于图像融合的主流图像变换算法包括基于小波分析的变换算法、基于多分辨率非下采样理论的变换算法等，但由于包含大量的二维卷积以及大量迭代计算等，普遍存在计算效率较低、融合过程耗时长等问题，该问题也已经成为图像融合在实际使用中的主要制约因素之一。以小波变换为代表的多分辨率分析方法主要是利用人眼对局部对比度的变换比较敏感这一特性，根据一定的融合规则，在多幅原图像中选择出最显著的特征，如边缘、线段等，并将这些特征保留在最终的合成图像中，该类算法尽管具有良好的时频局部化特性，但由于需要通过卷积完成，计算复杂度高，而且不具备平移不变性，容易导致重构图像出现明显的Gibbs现象；为弥补上述缺点提出的多分辨率非下采样的变换算法，如非下采样轮廓波变换算法(NSCT)等，是将图像变换分为多尺度分解和方向分解两步完成，每一步由特定的滤波器完成，但由于在运算过程中引入了大量的二维卷积计算，使得融合过程耗时过长。此外，不同融合规则的融合效果也不同，对于如基于耦合脉冲神经网络(PCNN)以及非负矩阵分解(NMF)等融合规则，具有较好处理效果，但是包含大量的迭代操作，进一步制约了图像融合的性能。具体对于两幅像素为256*256的图像的融合，典型的如基于非下采样轮廓波变换算法(NSCT)以及非负矩阵分解(NMF)的融合框架的耗时长将达188.23s，这严重制约了图像融合技术的实际使用。

为了实现对图像融合过程的加速，一种方法是降低算法的复杂性，但同时也会导致融合效果变差；另一种方法是将算法以并行的方式实现，如采用DSP、FPGA以及GPU等专门的硬件设备，其中GPU拥有优秀的并行计算能力以及更高的存储带宽，计算能力远高于CPU；CUDA(Computer Unified Device Architecture,统一计算设备架构)是在传统GPGPU的基础上推出的一种将GPU作为数据并行设备的软硬件体系，可以借助C、C++等通用语言进行开发，使得GPU的开发难度大大降低，同时利用GPU的并行计算能力获得非常可观的加速性能。但是目前基于GPU的图像融合框架对算法本身要求较高，且通常融合效果差，仅能够使用于特定的框架进行加速，即加速过程局限于单一算法，很难形成统一的对所有算法都适用的加速手段，这增加了开发的工作量以及复杂度，在实际使用中受限较多。

中国专利申请CN105245841A公开一种利用CUDA实现全景视频监控系统，通过对多个视频流进行拼接形成全景视频，但该方法仅局限于同类传感器获得的视频，不涉及多类传感器图像的融合处理，且是针对算法复杂度较低的拼接算法，复杂度远小于图像融合的计算复杂度。

发明内容