[发明专利]基于OpenCL的直接多曝光融合并行加速方法

摘要

本发明公开了一种基于OpenCL的直接多曝光融合并行加速方法，本发明的方法基于CPU+GPU的异构并行架构，利用GPU强大的浮点计算能力，在OpenCL开发环境下，通过合并内核、缓存高斯核到常量存储器、缓存复用数据到局部存储器、增大每个工作项的工作量等方式，缩短了访存和计算时间，实现了更快速多曝光融合，较传统的串行处理方法，本发明的方法取得的最大加速比达11.19，有效地减少了多曝光融合算法运行时间，为多曝光融合算法的进一步应用提供了有力保障；另外，在空间频率和平均梯度方面，本发明的方法都有较为明显的改善，有效解决了电子成像和显示设备动态范围不足导致的场景细节信息丢失问题。

主权项

1.基于OpenCL的直接多曝光融合并行加速方法，其特征在于，包括以下步骤：1、开发环境初始化：明确OpenCL平台的主机和设备，依次创建上下文、命令队列、内核对象和程序对象；2、通过PCI‑e传递低动态范围图像到显存，具体如下：2a、读取同一场景多帧不同曝光度的低动态范围图像到CPU内存；2b、创建内存对象；2c、传递内存的低动态范围图像到显存；3、在GPU上进行RGB到HIS的色域转换：亮度和色度独立表示的HIS色域空间相较于RGB色域空间更易于表示图像特征，按照下式，在GPU上进行RGB到HIS的色域转换，假设多曝光图像序列中共有N张图片，每张图片的分辨率为Row x Col，则共有N x Row x Col个待处理像素点，一个工作项处理2×1个像素点：其中，R、G、B是红、绿、蓝三原色，H、S、I分别表示色调、饱和度、亮度，π表示圆周率，min表示求最小值；4、计算决定多曝光融合权重的特征因子，具体如下：4a、不合适的曝光度会影响图像饱和度，按照下式，在GPU上筛选出饱和度适中的部分：其中，n表示不同曝光度的图像序列的序号，T是最佳曝光度可取的最小值，I_n表示多曝光图像序列中第n张图像的亮度，S_n表示多曝光图像序列中第n张图像的饱和度，一个工作项处理一个像素点；4b、按照下式，在GPU上计算对比度：C_n＝L*I_n其中，C_n表示第n张图片的对比度，L表示拉普拉斯算子，在计算对比度的过程中，拉普拉斯算子始终保持不变，将拉普拉斯算子存储在显存的常量存储器区域以加快对它的访问速度，计算对比度时存在一定的数据复用，缓存复用数据到局部存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；4c、按照下式，对每个像素位置选择多曝光图像序列中对比度的最大值参与权值计算：其中，表示最终参与权值计算的对比度值，一个工作项处理一个像素点；5、计算归一化的权重图，具体如下：5a、根据步骤4a和步骤4c得到的特征因子，按照下式计算权重图：其中，W_n表示第n张图片的权重图；5b、对步骤5a得到的权重图按照下式进行归一化：其中，是归一化因子，权重计算和归一化同步实现，如果则归一化后的权重W_n＝0，如果则归一化后的一个工作项处理一个像素点；6、同时对权重图和亮度图进行高斯下采样得到权重图高斯金字塔和亮度图高斯金字塔：以IG和WG作为高斯金字塔输入图像，则高斯金字塔第i层图像WG_i和IG_i按照下式计算：其中，WG_i‑1和IG_i‑1表示第i‑1层图像，第i‑1层是第i层的下一层，gauss表示高斯核表示卷积运算，down表示取偶数行和偶数列的下采样，i＝0时，WG₀＝W，IG₀＝I，权重图和亮度图与高斯核卷积时均存在20个复用数据，权重图和亮度图分别缓存高斯核尺寸大小的邻域到局部存储器，将卷积过程中保持不变的高斯核缓存到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；7、构建亮度图拉普拉斯金字塔：直接根据高斯金字塔下采样的逆过程上采样会丢失部分信息，为了还原高斯下采样后偶数行和偶数列的信息，按照下式，用亮度图高斯金字塔每一层图像减去其上一层图像上采样并高斯卷积后的预测图像，得到的残差图像构成亮度图拉普拉斯金字塔：其中，IG_i+1表示亮度图第i+1层金字塔，up表示行列均扩展两倍的上采样，上采样结果的高斯卷积存在数据复用，缓存上采样图像高斯核尺寸大小的邻域到局部存储器，缓存高斯核到常量存储器，一个工作组分配16×16个工作项，一个工作项处理2×1个像素点；8、亮度图在不同尺度下加权融合得到融合金字塔：对于金字塔的第l层，图像序列的每张亮度图片根据权重图按照下式加权融合得到融合金字塔的第l层pyr(l)：融合时一个工作项处理一个像素点；9、重构亮度金字塔：根据金字塔生成的逆过程从融合金字塔最顶层开始重构亮度金字塔，第i层亮度图上采样后和第i‑1层合并成新的第i‑1层，重构后的亮度金字塔最底层就是多曝光融合后得到的结果亮度图，重构过程一个工作项处理一个像素点；10、确定结果图像的饱和度和色调，具体如下：10a、饱和度越大，图像色彩越鲜艳，按照下式，选择最大的饱和度值作为结果图像的饱和度值：S＝max(S_n),n＝1,2,3,,N10b、选择饱和度值最大的图像序列所对应的色调值作为结果图像的色调值；11、将H、S、I转换到RGB色域空间，具体按照下式进行转换：12、显示并保存结果图像：将步骤11的R、G、B分量传输到主机内存，在主机端显示并保存结果图像。