[发明专利]一种基于深度卷积神经网络的遥感图像缺失数据重建方法

权利要求书

1.一种基于深度卷积神经网络的遥感图像缺失数据重建方法，其特征在于，主要包括多源数据的融合(一)；多尺度卷积特征提取单元(二)；扩张卷积(三)；增强时间-空间-光谱信息(四)；跳跃连接(五)。

2.基于权利要求书1所述的遥感图像缺失数据重建方法，其特征在于，采用深度卷积神经网络的时空谱框架模型(STS-CNN)，首先创建训练和测试数据集，采用梯度下降算法作为优化方法，定义残差映射、初始化学习率的值、设置评价指标和训练时间；然后向卷积神经网络中输入两种不同类型的数据，经过卷积运算产生特征映射，再通过多尺度卷积特征提取单元、扩张卷积和跳跃连接，以便增加接收域获取更多特征信息的同时不增加计算量；接着计算损失函数的均值平方误差，直到数值最小，最后通过收敛损失获得真实数据。

3.基于权利要求书2所述的梯度下降算法，其特征在于，为了确保CNN的输出是输入的非线性组合，从而引入非线性函数作为激励函数，采用梯度下降策略更新网络参数和的迭代训练规则如下：

其中α是整个网络的学习率。

4.基于权利要求书1所述的多源数据的融合(一)，其特征在于，数据信息与表面特征和纹理特征中的缺失区域高度相关，因此诸如光谱或时空数据等互补信息可以提高重建精确度；在STS-CNN中输入两种类型的数据，如缺少区域的空间数据和诸如光谱时间数据类的补充信息,两个输入分别经过一层3×3的卷积运算，分别产生30个特征映射的输出，接着将其连接到3×3×60。

5.基于权利要求1所述的多尺度卷积特征提取单元(二)，其特征在于，在重建遥感图像缺失信息的过程中，在不同的非局部区域具有成倍数的关系，因此该过程依赖于不同尺度的上下文信息，引入多尺度卷积特征提取单元，以便提取更多的特征；多尺度卷积单元包含三个卷积运算，核大小分别是3×3、5×5、7×7，三个卷积同时在输入数据的特征图上进行，产生20个通道的特征图，再将三个特征映射连接成一个60通道的特征映射，从而将提取不同尺度的上下文信息的特征融合。

6.基于权利要求书1所述的扩张卷积(三)，其特征在于，STS-CNN模型采用扩张卷积，既可以扩大接收域，又能够保持卷积核滤波器的尺寸，不增加模型的计算量和参数；扩张卷积能够在不同范围内使用不同的卷积因子来实现相同的滤波，接收域与层深度呈指数关系；对于重建模型，第2层到第6层的3×3扩张卷积的扩张因子分别设置为1、2、3、2和1。

7.基于权利书1所述的增强时间-空间-光谱信息(四)，其特征在于，为保留空间信息，将原图像和缺少区域的图像之间的残差图像传输到损失函数之前的最后一层，相当于构造缺失区域，因此定义残差映射，并针对提出的模型给出训练图像对，设置模型损失函数的均值平方误差；此外为确保信息减少失真，将掩码传输到网络中的后续层，与扩张卷积相连。

8.基于权利要求书7所述的残差映射，其特征在于，在该模型中，使用残差输出代替直接输出来学习不同补充数据之间的关系，残差单元的学习过程是非常稀疏的，通过对原始数据的深层和内在特征的提取和表达，更容易逼近原始数据；由于输入区域和输出结果在完整的区域大致相同，因此定义残差映射：

其中，是缺少数据信息的图像，x_i是原始未损坏的图像，r_i相当于缺失区域，超出缺失区域，剩余图像中的大多数像素值接近零，剩余特征图分布会很稀疏，这会使得梯度下降过程变得较为平滑。

9.基于权利要求书7所述的均值平方误差，其特征在于，给出一组N个训练图像对其中是光谱或时间辅助图像，θ是网络参数，

模型中损失函数的均值平方误差(MSE)定义如上式所示。

10.基于权利要求书1所述的跳跃连接(五)，其特征在于，为解决或减少由层深度增加而造成的梯度消失或爆炸问题，将跳跃连接用于深度卷积神经网络，跳跃连接可以将前一层的特征信息传递给后一层，保留图像的细节；在STS-CNN模型中，多尺度卷积采用三次跳跃连接，扩张卷积采用两次跳跃连接。