[发明专利]融合物理模型和深度学习的水下偏振成像方法

说明书

本发明公开了一种融合物理模型和深度学习的水下偏振图像去散射方法，包括构建浑浊水下的偏振图像数据集；进行原始偏振图像数据预处理；结合水下偏振成像模型构建特征提取的核心网络，得到输出的偏振调制参量和水下成像偏振去散射校正模型；并基于该偏振调制参量和水下成像偏振去散射校正模型计算得到复原的清晰图像；使用偏振感知损失函数对网络进行优化，利用预测图像与清晰偏振图像的深层特征更好地进行图像复原。本发明将水下偏振成像的物理模型融入深度神经网络中，通过物理模型更好地约束神经网络的训练，实现训练过程与物理规律的统一，并用偏振感知损失函数对模型加以约束，实现水体散射环境下成像对比度和成像距离的提升，尤其适用于高浑浊度水下环境的图像复原。

技术领域

本发明涉及偏振成像技术领域，特别涉及一种融合物理模型和深度学习的水下偏振成像方法。

背景技术

在水下成像的过程，介质中的微粒对光的散射和吸收会造成成像质量下降。为描述这一过程，根据大气散射模型提出了水下成像模型，将传感器接收的光信号分成两部分，即反射项和散射项。目前的图像去散射技术大多基于此模型，例如暗通道先验方法。但这些技术对环境光和传输系数的非真实估计，导致最终的图像复原效果并不理想。此外，环境光和传输系数的非真实估计还会引起图像对比度低、色彩失真等问题。将偏振成像技术与水下成像模型结合的水下成像偏振去散射模型对目标和背景的偏振信息的利用能够有效提高图像复原质量，但效果提升仍然有限。目前深度学习已经成功应用于多种图像复原任务，而且效果大都强于传统方法，但是他们大多是端到端网络，复原过程不完全遵循物理规律，可解释性较差，而且这些方法使用的数据集多为数值模型计算生成的虚拟图像，因此这些网络的泛化能力较差，对于真实环境的图像并不适用。此外，这些方法的使用场景多为低浑浊度散射环境，而真实的大气或水体环境往往浑浊度较高，也导致这些算法的效果不够理想。

发明内容

本发明旨在解决浑浊水下的图像难以复原的问题，而提出与了一种融合物理模型和深度学习的水下偏振成像方法，实现了将浑浊水下拍摄的低对比度图像复原为高对比度的清晰图像，尤其适用于高浑浊度的水体环境。

本发明采用以下技术方案实现：

一种融合物理模型和深度学习的水下偏振图像去散射方法，该方法包括以下步骤：

步骤1，构建浑浊水下的偏振图像数据集，调节偏振相机合适的曝光时间，分别对同一目标在相应浓度下连续采集多张不同偏振方向的偏振图像，计算其同一偏振方向光强的平均值作为浑浊水体下的图像，在清水下连续采集相同数量的对应偏振方向的清晰偏振图像，计算其同一偏振方向光强平均值作为标签，形成浑浊水体下图像和清晰图像对，保存为图像数据集；

步骤2，进行原始偏振图像数据预处理：

步骤2.1，将多个偏振方向的单通道偏振图像沿通道方向合并成单幅三通道图像，为学习目标的偏振特征，用任意三个及以上不同偏振方向的单通道图像沿通道方向合并为多通道图像；

步骤2.2，将浑浊水体下图像和清晰图像都裁剪为子图像；

步骤2.3，最后将数据集按比例随机拆分为训练集、验证集和测试集；

步骤3，结合水下偏振成像模型构建特征提取的残差-密集神经网络，由所述残差-密集神经网络得到输出的偏振调制参量和水下成像偏振去散射校正模型：

步骤3.1，配置浅层特征提取模块，该模块包括两个卷积层，第一3×3卷积层的卷积核数量为64，第二3×3卷积层卷积核数量为32；

步骤3.2，配置残差-密集模组，该模组配置了16个残差-密集模块，所述残差-密集模块由卷积层、作为激活函数的线性修正单元ReLU函数和局部特征融合模块组成，每个残差-密集连接块中各层之间采用密集连接的方式进行特征组合，每个残差-密集模块都包含了6个卷积层及其对应的ReLU函数；