[发明专利]协作生成对抗网络和空谱联合的高光谱图像分类方法

权利要求书

1.一种基于协作生成对抗网络和空谱联合的高光谱图像分类方法，其特征在于，分别建立生成器网络和多尺度判别器网络，多尺度判别器利用不同尺度的卷积核，提取高光谱图像的空间和谱间特征，将多尺度判别器每层的输出结果作为生成器对应层的先验信息，利用生成器与多尺度判别器的层间特征，构建协作生成对抗网络；该方法具体步骤包括如下：

(1)获取训练样本集和测试样本集：

(1a)利用主成分分析方法，对高光谱数据进行降维；

(1b)从降维后的高光谱图像中提取所有包含标签的像素点，以每个所提取的像素点为中心，将其周围27×27个像素点空间窗中所有的像素点，组成一个数据立方体，将所有的数据立方体组成高光谱图像的样本集；

(1c)从样本集中随机选取5％的样本，组成训练样本集，剩余95％组成测试样本集；

(2)构建生成器网络：

(2a)构建一个六层的生成器网络，其结构依次为：输入层→全连接层→第一个转置卷积层→第二个转置卷积层→第三个转置卷积层→第四个转置卷积层；

(2b)设置生成器各层参数；

(3)构建多尺度判别器网络：

(3a)构建一个七 层的多尺度判别器网络，其结构依次为：输入层→第一个多尺度卷积层→第二个多尺度卷积层→第三个多尺度卷积层→第四个多尺度卷积层→全连接层→soft-max多分类层；

(3b)设置多尺度判别器各层参数；

(4)通过层间加和构建协作关系：

(4a)依次将训练样本按批次输入到多尺度判别器，得到多尺度判别器中的四个卷积层每层输出的特征图；

(4b)在高斯分布中随机采样，生成100维的高斯噪声向量输入到生成器，得到生成器中的全连接层输出的特征图；

(4c)用生成器中的全连接层输出的特征图与多尺度判别器中第四个卷积层输出的特征图加和，将加和结果再输入到生成器中的第一个转置卷积层，得到生成器中第一个转置卷积层输出的特征图；

(4d)用生成器中第一个转置卷积层输出的特征图与多尺度判别器中第三个卷积层输出的特征图加和，将加和结果再输入到生成器中的第二个转置卷积层，得到生成器中第二个转置卷积层输出的特征图；

(4e)用生成器中第二个转置卷积层输出的特征图与多尺度判别器中第二个卷积层输出的特征图加和，将加和结果再输入到生成器中的第三个转置卷积层，得到生成器中第三个转置卷积层输出的特征图；

(4f)将生成器中第三个转置卷积层输出的特征图与多尺度判别器中第一个卷积层输出的特征图加和，将加和结果再输入到生成器中的第四个转置卷积层；

(5)构建协作生成对抗网络：

(5a)将生成器和多尺度判别器组成协作生成对抗网络；

(5b)设置协作生成对抗网络参数：将降维维度设置为3维，将网络迭代次数设置为700，将样本输入批量值设置为128，将生成器的学习率设置为0.01，将多尺度判别器的学习率设置为0.005；

(6)利用多尺度判别器提取空谱联合特征：

(6a)将训练样本和生成样本按批次输入到多尺度判别器；

(6b)利用1×1卷积核，对输入的每个样本进行二维卷积操作，通过通道间的信息交互，得到每个样本的光谱特征；

(6c)利用3×3卷积核，对输入的每个样本进行二维卷积操作，得到每个样本的空间特征；

(6d)利用5×5卷积核，对输入的每个样本进行二维卷积操作，得到每个样本的空间特征；

(6e)将每个样本的光谱特征与两个不同尺度的空间特征进行级联，得到高光谱图像不同尺度的空谱联合特征；

(7)用生成器生成样本：

(7a)在高斯分布中随机采样，生成100维的高斯噪声向量，输入到生成器的全连接层，依次进行线性的全连接变换→非线性ReLu变换→矩阵形状变换→批标准化，得到全连接层输出的2×2×128个像素大小的特征图；

(7b)用全连接层输出的特征图与多尺度判别器中第四个卷积层输出的特征图加和，将加和结果输入到生成器的第一个转置卷积层，依次进行转置卷积操作→非线性ReLu变换→批标准化，得到第一个转置卷积层输出的4×4×64个像素大小的特征图；

(7c)用第一个转置卷积层输出的特征图与多尺度判别器中第三个卷积层输出的特征图加和，将加和结果输入到生成器中的第二个转置卷积层，依次进行转置卷积操作→非线性ReLu变换→批标准化，得到第二个转置卷积层输出的7×7×32个像素大小的特征图；

(7d)用第二个转置卷积层输出的特征图与多尺度判别器中第二个卷积层输出的特征图加和，将加和结果输入到生成器中的第三个转置卷积层，依次进行转置卷积操作→非线性ReLu变换→批标准化，得到第三个转置卷积层输出的14×14×16个像素大小的特征图；

(7e)用第三个转置卷积层输出的特征图与多尺度判别器中第一个卷积层输出的特征图加和，将加和结果输入到生成器中的第四个转置卷积层，依次进行转置卷积操作→非线性ReLu变换→批标准化，得到27×27×3个像素大小的生成样本；

(7f)判断当前生成器的迭代次数是否为10，若是，则得到训练好的生成样本后执行步骤(8)，否则，将当前迭代次数加上1后执行步骤(7)；

(8)用多尺度判别器对训练样本进行分类：

将高光谱图像中随机选取的训练样本，按批次输入到多尺度判别器中，进行非线性映射，输出训练样本的预测标签；

(9)用多尺度判别器对训练好的生成样本进行分类：

用生成器训练好的生成样本输入到多尺度判别器中，进行非线性映射，输出生成样本的预测标签；

(10)构造生成器和多尺度判别器的损失函数：

(10a)将训练样本和用生成器训练好的生成样本，按批次输入到多尺度判别器中，得到训练样本的预测标签和生成样本的预测标签；

(10b)利用交叉熵公式，计算生成样本的预测标签与训练样本的真实标签中，相同位置元素之间的交叉熵，作为生成器的损失函数；

(10c)利用交叉熵公式，计算生成样本的预测标签与生成样本的真实标签中，相同位置元素之间的交叉熵，以及计算训练样本的预测标签与训练样本的真实标签中，相同位置元素之间的交叉熵，将两个交叉熵相加后作为判别器的损失函数；

(11)交替训练生成器和多尺度判别器：

(11a)利用梯度下降方法，固定多尺度判别器参数，用生成器的损失函数训练生成器；

(11b)利用梯度下降方法，固定生成器参数，用多尺度判别器的损失函数训练多尺度判别器；

(12)判断协作生成对抗网络是否收敛，若是，则执行步骤(13)，否则，执行步骤(11)；

(13)对高光谱图像进行分类：

将高光谱图像的测试样本输入到训练好的协作生成对抗网络的多尺度判别器中，输出测试样本的预测标签，获得分类结果。