[发明专利]一种实时图像增强的方法、装置、设备及可读存储介质

说明书

本发明提供了一种实时图像增强的方法、装置、设备及可读存储介质，涉及图像增强技术领域，包括获取原图像和预设的目标图像，对所述原图像和所述目标图像进行预处理，得到输入图像；基于颜色矫正矩阵算法，对所述输入图像进行图像增强，得到图像增强结果，所述图像增强的通道包括低分辨率仿射矩阵的提取通道和高分辨率图像的上采样通道；基于语义分割算法，对所述图像增强结果进一步重建，得到最终的图像增强的结果。本发明有利效果为基于语义分割的前提下，提升模型对图像的锐化能力，生成图像色彩更加真实。相比于传统的通过卷积神经网络提取仿射矩阵，通过注意力模块得到的仿射矩阵对输入输出图像之间仿射的表达能力更强。

技术领域

本发明涉及图像增强技术领域，具体而言，涉及实时图像增强的 方法、装置、设备及可读存储介质。

背景技术

在自然环境中，非专业用户使用手持摄像设备很难拍出高质量照 片，例如夜间环境曝光不足的情况，或中午光线过曝等场景。在上述 环境所拍出的照片往往需要进行图像增强，对图像进行白平衡，调色， 调整对比度等操作。

传统的图像增强方法使用直方图变换，对数变换，对变换域卷积 等操作，但对于图像而言，仍然是一个NP难问题，传统算法很难进 行高效的求解。像素到像素的编解码方法，需要大量的数据和巨大的 的网络参数，并且不能做到实时性。

发明内容

本发明的目的在于提供一种实时图像增强的方法、装置、设备及 可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的 技术方案如下：

第一方面，本申请提供了一种实时图像增强的方法，包括：

获取原图像和预设的目标图像，对所述原图像和所述目标图像进 行预处理，得到输入图像；

基于颜色矫正矩阵算法，对所述输入图像进行图像增强，得到图 像增强结果，所述图像增强的通道包括低分辨率仿射矩阵的提取通道 和高分辨率图像的上采样通道；

基于语义分割算法，对所述图像增强结果进一步重建，得到最终 的图像增强的结果。

优选地，所述基于颜色矫正矩阵算法，对所述输入图像进行图像 增强，得到图像增强结果，其中包括：

基于注意力机制的特征提取方法，对所述输入图像进行全局特征 提取和局部特征提取，并融合为仿射矩阵；

提取所述输入图像的灰阶信息，对所述仿射矩阵进行三次线性插 值，生成图像增强结果。

优选地，所述提取所述输入图像的灰阶信息，其中包括：

根据所述输入图像的图像块中像素的灰度值进行排序；

将局部图像块分割成多个子区域；所述局部图像块的所有像素根 据所述灰度值大小按照非降序顺序排列；根据灰度值排序，将所述局 部图像块分成S个子区域；

将所有所述子区域向量相加：通过连接每个所述子区域的描述子， 得到一个特征描述子，并通过所述特征描述子计算得到最终构造的描 述子维度，进而得到灰阶信息。

优选地，所述基于语义分割算法，对所述图像增强结果进一步重 建，其中包括：

获取所述图像增强结果中的每块语义分割图像；

基于语义分割算法，获取第一计算结果和第二计算结果之差；所 述第一计算结果包括每块所述语义分割图像与所述输入图像的平均 绝对误差；所述第二计算结果包括每块所述语义分割图像与所述目标 图像的平均绝对误差；

计算每块所述语义分割图像相对应的权重，所述权重为每块的像 素值的平均值分别减去输入图像和目标图像全图像素值的平均值的 欧式距离之和的平均值得到；

将所有所述权重进行归一化，得到归一化结果；