[发明专利]一种基于模板的图像增强方法及装置

说明书

本发明公开了一种基于模板的图像增强方法，将待增强图像与同场景模板图像拼接后下采样，将得到的六通道特征图像输入增强参数模型，利用输出的伽马校正参数对待增强图像进行伽马变换，得到增强后图像；增强参数模型按照以下方法训练：对训练集中的每一幅训练样本图像，通过对同场景模板图像的RGB三通道图像分别进行随机伽马变换得到期望图，将训练样本图像与期望图拼接为六通道图像后下采样，以得到的六通道特征图像作为输入，以伽马校正参数作为输出，以缩小训练样本图像的伽马变换图像与期望图之间的亮度和对比度差异为目标，对神经网络进行训练。本发明还公开了一种基于模板的图像增强装置。本发明可将图像增强至任意指定模板图像的亮度。

技术领域

本发明属于图像处理技术领域，具体涉及一种图像增强方法。

背景技术

由于受到环境，光线等的影响，拍摄的照片清晰度和对比度比较低，不能够突出图像中的重点。图像增强就是通过一定手段来增强图像的亮度、对比度，使得其中的人物或者事物更加明显，有利于后续的识别等处理。

图像增强通常分为传统图像算法和基于深度学习的算法。前者以直方图均衡化、伽马变换、拉普拉斯变换、Retinex系列为代表，因不涉及复杂运算，处理时间较短，但效果较差，且需要根据输入和输出图片亮度、对比度设定参数，如参数选取不佳会影响图像增强的效果；后者以CycleGAN、WESPE等基于生成式对抗网络（GAN）为代表，其效果较好，但由于训练和测试较复杂，网络前向处理时间长，由于训练时期望图像亮度、对比度一致，导致使用网络增强的图像只能固定生成近似此期望图的效果。

在某些应用场景中，例如工业质检、部分视频结构化监控场景或野外动植物保护监控，每个固定相机拍摄的图片相似性极高，但可能会存在光照、阴影、亮度差异。为后续算法稳定使用，需要将图像固定调节至同一亮度标准，此时直观可视的最优亮度通常并非算法最优，往往需要根据需要提供相应的模板图片，并尽可能使增强图片与模板图片保持一致才能使得后续算法保持最佳状态。而现有的图像增强技术均不能根据指定模板优化图像，传统图像增强方法通常需要指定参数达到预期效果，针对不同的输入和期望，手动挑选不同参数，操作复杂；生成式对抗网络或其他基于深度学习的图像增强算法，在训练时需要指定除亮度不一致但其他信息完全一致的一对图片，并以正常光图片作为期望图，此方式增强的图像亮度单一且无法满足实际需求，同时恢复后的图像用于后处理并非最优结果。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于模板的图像增强方法，可将图像增强至任意指定模板图像的亮度，且在效率和图像增强效果之间取得了良好的平衡。

本发明具体采用以下技术方案解决上述技术问题：

一种基于模板的图像增强方法，将待增强图像的RGB三通道图像与同场景模板图像的RGB三通道图像拼接为六通道图像后对其进行下采样，将下采样得到的六通道特征图像输入增强参数模型，利用所述增强参数模型所输出的分别对应RGB三通道的三个伽马校正参数对待增强图像的RGB三通道图像进行伽马变换，得到增强后图像；所述增强参数模型是按照以下方法预先训练的神经网络：对训练集中的每一幅训练样本图像，为其准备一幅同场景的模板图像并通过对模板图像的RGB三通道图像分别进行随机伽马变换得到期望图，将训练样本图像的RGB三通道图像与期望图的RGB三通道图像拼接为六通道图像后对其进行下采样，以下采样得到的六通道特征图像作为输入，以对应RGB三通道的三个伽马校正参数作为输出，以缩小用所述三个伽马校正参数对所述训练样本图像进行伽马变换后的变换图像与所述期望图之间的亮度和对比度差异为目标，对所述神经网络进行训练。

优选地，所述神经网络为卷积神经网络。

优选地，所述下采样为网格化随机采样。

优选地，所述神经网络的损失函数为均方误差损失函数MSE与局部损失函数Region的加权和。

基于同一发明构思还可以得到以下技术方案：