[发明专利]基于注意力机制的无人机全景图像去噪方法

说明书

本发明公开了一种基于注意力机制的无人机全景图像去噪方法，该去噪方法包括：卷积神经网络编解码器结构，通过深度可分离卷积、激活池化、反卷积等操作对输入图像进行编解码操作；深度可分离卷积，通过深度卷积和逐点卷积实现对特征图的卷积运算，减少去噪网络的参数量；通道注意力模块，通过给编码后的特征图在通道上赋予权重，提高网络去噪性能；具有多尺度跳跃连接的残差注意力模块，通过在跳跃连接时关注特征图的多尺度信息，并在通道上给特征图赋予权重，进一步提高网络去噪性能。本发明对无人机在复杂光照环境下拍摄的全景图像进行图像去噪，解决以往去噪方法需要估计噪声水平、耗时以及在复杂光照环境下图像去噪效果不佳的问题。

技术领域

本发明涉及一种图像去噪方法，特别是涉及一种基于注意力机制的无人机全景图像去噪方法。

背景技术

全景成像技术具有大视场低畸变高分辨率的成像特点，可以作为无人机的眼睛可以实现对360°场景实时感知。无人机上的全景相机在复杂光照环境下获得的全景图像，存在着局部曝光不足和局部曝光过足的问题导致全景图像退化，严重影响着无人机感知效果。尤其在低照度下的噪声已经与信号强度相接近，淹没了图像有用的细节信息，严重降低图像质量。如果单纯进行信号放大也只会将噪也进一步放大，无法提升相机的信噪比，所以针对无人机在低光环境下的全景图像去噪就显得尤为重要。

近年来，对于图像去噪的研究有很多，但大多是针对手机相机和数码相机的普通图像进行去噪研究，专门对无人机全景图像去噪的研究还不多。在复杂光照环境下的图像噪声分布与光照强度等因素有关，单一的噪声模型难以覆盖所有的图像噪声。以往去噪方法需要估计噪声水平、耗时以及在复杂光照环境下去噪效果不佳的问题，这些都限制了全景成像系统在无人机领域的应用。

发明内容

针对上述情况，为了克服现有技术的缺陷，本发明提供一种基于注意力机制的无人机全景图像去噪方法。

本发明是通过下述技术方案来解决上述技术问题的：一种基于注意力机制的无人机全景图像去噪方法，其特征在于，其包括：

卷积神经网络编解码结构，包含编码器和解码器，编码器包含五个卷积单元，对图像进行卷积和激活操作，完成图像特征提取，池化操作减少了参数量，解码器包含四个卷积单元，通过对图像进行反卷积，进行特征上采样并逐步恢复图像尺寸，然后再重复卷积和激活操作，逐步复原去噪图像；

深度可分离卷积，包含深度卷积和逐点卷积，深度卷积对输入特征图的每一通道使用一个卷积核进行卷积，然后将所有卷积的结果进行通道堆叠。逐点卷积根据卷积核的个数调整特征图的通道数，并更好地融合通道之间的联系。深度可分离卷积可以大大减少网络参数量，加快模型运算速度；

通道注意力模块，包括平均池化、最大池化、共享MLP、特征图求和、激活和特征图乘积，通过对输入的特征图进行最大池化和平均池化计算，并输入一个共享MLP，得到两个带有权值的特征图并求和，最后将这个带有权值的特征图和原特征图相乘，给特征图在通道上赋予权重；

具有多尺度跳跃连接的残差注意力模块，包括一个普通卷积、残差连接和一个通道注意力模块，通过将输入的特征图进行一次普通卷积，并输入一个通道注意力模块，得到的结果与输入征图进行残差连接，最后与解码器的特征图进行多尺度的通道堆叠。

本发明提供一种基于注意力机制的无人机全景图像去噪方法，其特征在于，其包括以下步骤：

步骤一，调整无人机上的全景相机参数至合适数值，采集并保存原始全景图像；

步骤二，对采集的全景图像进行噪声提取，将提取的噪声加入其它干净的数据集中形成噪声图像，进行噪声图像和对应干净参考图像的配对，构建针对无人机全景图像去噪的训练图像数据集；

步骤三，将原始全景图像进行直方图均衡化和伽马校正，调节原始图像的亮度和对比度，得到亮度和对比对校正后的全景图像；