[发明专利]一种基于对抗网络的水面图像去反光修复方法和装置

说明书

本发明提供一种基于对抗网络的水面图像去反光修复方法和装置，利用图像传感器采集大量水面反光图像，同时利用装有偏振镜片的图像传感器采集相同视场下的无反光缺陷的图像；将水面反光图像构成的第一数据集和无反光缺陷的水面标准图像构成的第二数据集组成第一成对数据样本，对抗网络模型由生成网络和判别网络两个深度神经网络组成，将随机噪声和第一数据集输入至生成网络，输出生成数据集；将生成数据集和第二数据集组成第二成对数据样本，输入至判别网络D，判别网络D判别输入数据来源于第一成对数据样本还是第二成对数据样本，利用训练好的对抗网络模型修复水面反光图像。不仅能解决生成对抗网络训练不稳定和模式崩溃问题，还能够生成自然逼真的无反光缺陷的水面图像。

技术领域

本发明涉及深度学习和图像处理领域，尤其涉及一种基于条件生成对抗网络的水面图像去反光修复方法和装置。

背景技术

图像修复技术是近几年图像处理领域的一个重要的分支，属于模式识别、机器学习、统计学、计算机视觉等多学科交叉的问题。图像修复是指对图像保留过程中引起的图像缺失信息进行修复重建或者去除图像中的多余物体后的修复。

随着传感器和存储系统的发展，越来越多的信息以数字图像的形式进行存储和传递。然而，在采集图像信息时，会由于光照、环境干扰、传感器故障等一系列问题，使得获取的图像含有一定长度的噪声，同时，图像在传输和存储过程中的压缩和信息干扰，也会导致最终的到的图像部分残缺或受噪声干扰，这严重影响了图像的视觉效果，图像受损严重时甚至影响人们对图像内容的识别。因此，图像修复就成为图像预处理中一项极为重要的任务。图像修复效果的好坏直接影响了目标检测、图像分割等后续图像处理工作的效果。为了提升图像质量，方便进行观察和后续图像处理工作，对受损图像进行图像修复是必不可少的图像预处理工作。

图像修复主要包括图像补全、图像去噪和图像去模糊等技术，其中图像补全和图像去噪主要对受损图像进行修复，去模糊主要处理由于目标运动产生的图像模糊，最后得到分辨率较好的图像。

图像补全是指利用图像缺失部分的领域图像信息和图像整体结构信息，按照一定的修复规则对图像中缺失区域进行补充，使观察者无法察觉图像曾经受损。图像补全技术最早应用于仿真艺术品的复原，首先采集雕塑、画作、陶瓷等艺术品图像，使用图像补全相关技术对采集的图像进行补全，之后修补工匠再借鉴全图像对艺术品进行复原。随着计算机视觉和人工智能的发展，图像补全技术被应用于医学、军事、摄影、和电影行业等领域。在医学领域中，图像补全技术被用于医学图像处理，通过对医学图像进行修复，可得到更清晰、易处理的医学图像。军事领域中，图像补全技术常用于修复获取的受干扰有损情报图像，通过修复得到有效的情报信息。摄影和电影行业中，常用于对损坏老照片和变质胶片的修复，补全其中的缺失区域以供使用。此外，图像补全技术还常用于人脸修复，人脸修复可以用于部队或公安机关的侦查工作中，将部分遮挡的人脸通过图像补全技术进行修复，进而帮助找到图像中的人物。

图像去噪是指利用原图像中的结构信息等，尽可能减少图像中的噪声，并保留图像中原有的结构信息和纹理信息。随着计算机视觉和图形学的发展，目前的图像去噪算法已经能够达到较好的效果，使图像去噪在更多方面有所应用。在科学研究领域，图像去噪作为重要的图像预处理工作，将去噪图像用于计算机视觉研究中的检测、分类、分割等问题的效果优于直接对含噪声的图像进行处理得到的结果。公共安全和监控领域中，常会由于摄像头分辨率、天气、亮度、视频图像传输等原因，使采集到的图像收到噪声影响，导致在利用监控信息进行分析判断时难以将图像细节分辨清楚。通常使用图像去噪技术，在去噪的同时，尽可能保存图像细节信息，方便对图像或视频内容进行分析。在卫星遥感观测领域中，常由于图像尺寸过大、卫星传感器偏差和远距离传输信号干扰等原因，导致获取图像产生噪声而无法识别地面目标。因此，在此领域中，需要使用图像去噪技术对采集到的卫星图像进行处理，保留图像细节信息，以便于对图像进行放大并识别地面复杂目标。