[发明专利]基于字典学习的HDR照片风格转移方法

摘要

本发明涉及一种基于字典学习的HDR照片风格转移方法。通过给定一张HDR参考照片，借助颜色转移和字典学习，将HDR风格特征转移到源照片上，从而自动生成HDR照片效果。该方法的包括步骤如下：(1)借助梯度保持的颜色转移方法，将HDR参考照片的颜色特征转移到源照片上；(2)对HDR参考照片提取细节特征，利用K_SVD算法进行字典训练，形成细节的过完备字典集；(3)利用细节的过完备字典集对源照片进行稀疏重建，生成与HDR参考照片特征一致的细节；(4)将颜色转移的结果和细节重建的结果合并，最终生成HDR风格的新照片。本发明方法流程清晰、结构完整，实现效率高。

主权项

1.一种基于字典学习的HDR照片风格转移方法，其特征在于，具体操作步骤如下：/n(1)借助梯度保持的颜色转移方法，将HDR参考照片的颜色特征转移到源照片上；/n(2)对HDR参考照片提取细节特征，利用K_SVD算法进行字典训练，形成细节的过完备字典集；/n(3)利用细节的过完备字典集对源照片进行稀疏重建，生成与HDR参考照片特征一致的细节；/n(4)将颜色转移的结果和细节重建的结果合并，最终生成HDR风格的新照片；/n所述步骤(1)中利用梯度保持的算法对源HDR照片进行颜色转移，将用户心仪的参考照片的风格转移到源照片上，使源照片具有参考照片的颜色风格，同时保持源照片的梯度特征，具体步骤如下：/n通过求解与颜色、梯度这两个能量项相关的能量方程，保留源照片的结构信息，最终得到高保真的颜色转移结果，把颜色转移的问题转化为求解下面的能量方程：/n /n其中E_c，E_d分别表示与颜色、梯度相关的能量项，Φ，R，I分别表示颜色转移结束时的输出图像，参考图像，源图像；H(·)表示图像的颜色直方图分布，G(·)表示获取图像梯度，ω_c，ω_d分别表示颜色分量、梯度分量的权重；/n1)颜色映射/n在(1)式中，定义了颜色映射的能量项E_c，通过下面的公式(2)求解：/n /n其中H(·)表示图像的颜色直方图分布，k表示直方图区间序号，n表示区间总数；为了得到颜色映射结果，输出图像的颜色直方图分布必须与参考图像的颜色直方图分布相匹配；为了求解方便，将源图像的直方图与参考图像的直方图进行匹配，得到一个中间图像，该图像较准确的保持了参考图像的颜色分布；同时为了避免对结构的影响，对中间图像进行分解，得到细节层和色调层F，在色调层做颜色处理，因此公式(2)重新定义为：/n /n其中Φ表示输出的图像，p表示图像的像素点，通过求解公式(3)得到颜色映射的结果；/n2)梯度保持/n由于颜色映射时分离了细节层，因此得到的结果丢失结构保真度，根据求解公式(1)中声明的能量项E_d能够保持源图像的梯度特征，用下面的公式(4)表示：/n /n其中▽表示梯度算子，p表示图像上的像素点，m表示总的像素点，λ表示调节图像对比度的参数；当λ>1时，增加对比度；当λ<1时，减小对比度；当λ＝1时，保持对比度不变；/n在梯度域内优化能够有效地保持源图像的原始结构特征，为了保持源图像的梯度，首先利用索贝尔差分算子计算源图像的梯度，然后根据用户的需求，确定对比度的参数λ，得到源图像梯度保持的结果，求出E_c和E_d之后，代入公式(1)得到颜色转移结果；/n所述步骤(2)对HDR参考照片提取细节特征，利用K_SVD算法进行字典训练，得到细节的过完备字典集D，具体步骤为：/n选择一张HDR浮雕或者油画风格照片作为参考图像，为了提高重建图像的质量，需要对参考图像做预处理，先用加权最小二乘法WLS滤波器提取其细节特征，然后随机取100000个5x5的小块，作为训练样本集Y；/n通过提取的训练样本集Y，学习出一个具有HDR浮雕或油画风格特征的过完备字典D；利用K_SVD算法训练，对HDR照片风格的训练过程，使用如下公式表示：/n /n其中D＝{d₁，d₂…d_k}∈R^r×k，k＞r，是通过学习获得的过完备冗余字典D，α是训练样本集Y在字典D上的稀疏系数向量，δ表示α_i中非零元素数目的上限，表示训练样本集Y的全局重构误差；/n将Y作为K_SVD算法的输入，根据字典学习的两个阶段，在稀疏编码阶段，通过初始化字典D，然后归一化字典D，利用正交匹配追踪OMP算法得到Y在字典D上的稀疏表示系数矩阵α；在字典更新阶段，根据求出的稀疏矩阵系数α，逐列更新字典原子；在满足k次迭代或者满足收敛条件时，得到最终优化的过完备字典D；在更新字典D的过程中，假设d_k表示将要更新字典的第k列，α_k表示该列对应的稀疏系数，将公式(5)重写如下：/n /n其中Dα被分解为k个秩为1的矩阵的和，假设其中k-1项都是固定的，剩下的1列就是要更新的第k列；(6)式中的矩阵E_k表示除去原子d_k后剩余的成分在样本集Y中的误差；/n利用奇异值分解SVD的方法来更新E_k和通过该方法找到与E_k差值最小且秩为1的矩阵，能够有效减少训练样本的全局重建误差；但是由于通过奇异值分解得到的不是稀疏的，即与更新前的非零元素的位置和大小不一样，导致得到的字典不紧致；因此，采用只保留中的非零项，再利用SVD方法更新α_k和d_k，直到逐列完成字典更新，通过这种方法得到的字典D能够很好地表示样本的特性；/n所述步骤(3)采用稀疏表达的思想，利用步骤(2)中学习得到的字典对源照片进行稀疏重建，生成与参考照片特征一致的细节，具体步骤如下：/na.输入：普通风格的源照片X，参考照片的训练字典D；/nb.对源照片X利用WLS滤波器分解出细节特征，并进行优化处理，得到图像X₁；/nc.循坏过程：从图像X₁左上角依次取出大小为5×5的图像块x，对每个小块提取细节特征，然后将每个小块变成25×1的列信号求出每个列信号在字典D下的稀疏表示系数α，具体为：/n步骤1.计算图像块x的平均值m；/n步骤2.已知D和通过下面的表达式求解稀疏系数α，/n /n其中，λ₁表示正则化参数，用来平衡重建误差项与稀疏约束项，λ₁取值范围在0与1之间；/n步骤3.估计的浮雕风格图像块为Dα，输出的浮雕/油画风格图像块为x^*＝m+Dα；/nd.输出：将稀疏重建的小块按原来的位置进行恢复，得到具有细节丰富的浮雕或者油画风格图像X^*；/n所述步骤(4)将颜色转移的结果和细节重建的结果合并，最终生成HDR风格的新照片，具体步骤为：/n由于HDR照片具有颜色和细节两个方面的特征，通过利用参考图像的颜色和细节方面的指导信息，分别得到了源照片颜色转移的结果以及源照片稀疏重建的结果；最后，需要将这两个结果合并，使源照片在色调和细节上都具有HDR风格的特点；该合并过程实际等效于求解一个包含数据项和梯度项的能量方程，其中数据项是颜色转移的结果，而梯度项是细节重建的结果，用下面的式子表示：/n /n其中Φ^*，Φ，X^*分别表示最终生成的HDR风格照片，源照片颜色转移结果，源照片的稀疏重建结果；p表示照片上的像素点，λ^*表示梯度约束系数，表示获取照片的梯度，通过优化上面的能量方程得到合并的结果，即得到新的HDR风格照片。/n