[发明专利]一种基于深度学习的无监督去雨方法

说明书

本发明公开一种基于深度学习的无监督去雨方法，包括以下步骤：步骤一、对降雨数据集的图像使用上采样方法增强数据；步骤二、获取具有最少重叠雨线的有雨图像对；步骤三、构建去雨模型；使用深度学习框架PyTorch搭建StackConvNet模型通过参数映射学习提取图像的浅层特征、中层特征和深层特征进行去雨；步骤四、模型训练的输入图像和目标图像类型分别为真实有雨图像和使用最少重叠雨线方法选取的真实有雨图像，训练去雨模型至模型在验证集上的测试性能不再增加时，达到收敛状态，获得模型参数；步骤五、使用经过步骤四训练的去雨模型处理有雨图像，保存去雨图像；本发明实现无监督去雨，且去雨效果好。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于深度学习的无监督去雨方法。

背景技术

对于计算机视觉任务，深度学习已成为最流行的方法，在目标检测、图像分类等高层任务和图像去噪，修复，单图像超分辨率等底层任务中都有优异的表现。大多数基于深度学习的模型使用的是有监督方法，需要大量的手工标注的数据集作为模型的输入。但是现实中并不总是能够提供足够的数据集用于训练，而且数据收集的过程可能是乏味耗时甚至不可行的。室外图像通常由于受到各种大气污染（如雾、霾、雪、雨等）的影响，使背景目标的可视性大大降低，导致一些计算机视觉算法在应用于受大气污染产生退化的图像时性能会变差。

图像去雨是一项底层图像恢复任务，其目的是通过去除一层降雨产生的退化来恢复晴朗的背景，这种退化通常表示为，表示静态背景，表示雨层。由于去雨问题具有不适定性，所以特别具有挑战性，而且由于大气现象的复杂性，对雨层的建模显得特别困难。

目前图像去雨按照输入的不同可以分为两种方法：单图像去雨和视频（多帧）去雨。这两种方法都由两种主流的算法主导：模型驱动算法和数据驱动算法。

虽然近几年图像去雨方法取得了很大的进步，但仍然存在一些问题，大多数去雨算法主要依靠合成的数据集来比较和评估模型的性能。虽然合成大量的训练图像对相对容易，但是由于合成的降雨分布与真实的降雨分布具有差别，在合成数据集上训练的模型通常不能很好地推广到真实的场景中。尽管最近有人提出使用半自动人工监督的方法构造大规模的真实降雨数据集SPA来生成真实的降雨/无雨数据集，但这种方法仍然繁琐、耗时且不具有很好的可扩展性。同时，现有的一些有监督和无监督方法在去雨的效果上提升有限。

发明内容

本发明的目的在于提供一种基于深度学习的无监督去雨方法，本发明通过搭建去雨模型，对任意一张有雨图像，在多个同一场景的有雨图像中选取与之具有最少重叠雨线的有雨图像组成图像对并进行训练，从而确定神经网络模型的参数，训练完成之后的模型用于去雨。

为解决此技术问题，本发明的技术方案是：一种基于深度学习的无监督去雨方法，包括以下步骤：

步骤一、数据预处理；

对降雨数据集的图像使用上采样方法增强数据，扩充降雨数据集；

步骤二、获取具有最少重叠雨线的有雨图像对；

在多张属于同一背景的有雨图像中寻找与一张作为输入的有雨图像具有最少重叠雨线的目标有雨图像；

步骤三、构建去雨模型；

使用深度学习框架PyTorch搭建StackConvNet模型通过参数映射学习提取图像的浅层特征、中层特征和深层特征进行去雨；

步骤四、模型训练；

模型训练的输入图像和目标图像类型分别为真实有雨图像和使用最少重叠雨线方法选取的真实有雨图像，根据反向传播原理迭代更新StackConvNet模型的参数，使用Adam算法作为模型优化策略，训练去雨模型至模型在验证集的测试性能不再增加时，达到收敛状态，获得模型参数；

步骤五、使用经过步骤四训练的去雨模型对有雨图像进行处理，保存去雨图像。