[发明专利]基于强化学习的近红外和可见光遥感图像配准方法

权利要求书

1.一种基于强化学习的近红外和可见光遥感图像配准方法，其特征在于，包括以下步骤：

S1，将红外和可见光图像修剪到同样大小，并做堆叠处理；

S2，将堆叠后的图像输入残差改进的密集神经网络进行处理并输出配准所需要的Q值；

S3，根据Q值进行推理预测出策略动作空间中每个动作的概率分布；

S4，根据每个动作的概率分布，在策略动作空间中选择一个概率最大的动作，并由待配准图像执行该动作；

S5，当待配准图像和参考图像达到设定的相似度阈值后，对当前图像配准进行贪心算法推理采样；

S6，对当前待配准图像进行移动重采样输出最终配准结果。

2.根据权利要求1所述的一种基于强化学习的近红外和可见光遥感图像配准方法，其特征在于，步骤S1包括以下步骤：准备好需要配准的可见光参考图像和近红外待配准图像，将两幅图像修剪到同样大小，然后进行堆叠处理，堆叠后的图像有R、G、B和NIR四个通道。

3.根据权利要求1所述的一种基于强化学习的近红外和可见光遥感图像配准方法，其特征在于，步骤S2所述残差改进的密集神经网络中，第1、3、5层为卷积层，均有64个通道和3*3的卷积核；第2、4层为两个残差块；第6层使用1*1卷积核融合来自多个层次的信息，输出具有256个通道的特征映射；最后两个卷积层用于进一步调整这些多级特征的相互依赖性；第一个全连接层用于将二维特征图压缩为一维向量，最后一个全连接层通过Softmax函数将向量转换为策略动作的Q值。

4.根据权利要求3所述的一种基于强化学习的近红外和可见光遥感图像配准方法，其特征在于，网络从第2层的残差块进行密集连接，残差块首先处理下层的卷积和平滑堆栈图像，处理后的信息不仅直接传输到下一层，而且还传输到深层。

5.根据权利要求1所述的一种基于强化学习的近红外和可见光遥感图像配准方法，其特征在于，步骤S4所述策略动作空间包括8个候选变换，其中包括x和y方向1个像素的平移、1°的顺逆时针旋转和0.05倍的大小缩放；每执行一次动作环境返回一个奖励值，返回的奖励值由参考图像和待配准图像的变换矩阵和网络生成的变换矩阵的距离差计算得到；网络根据环境返回的奖励对配准策略进行更新学习，并将执行过该动作的图像再次输入到残差块改进的密集神经网络，然后继续循环上述步骤。

6.根据权利要求1所述的一种基于强化学习的近红外和可见光遥感图像配准方法，其特征在于，步骤S5包括以下步骤：如果网络达到设定的阈值，从到达阈值时的当前状态开始，同时对多条可能的配准路径进行贪心算法搜索，并记录下每条路径上的所有权值，当所有路径探索完成，以权值最大的路径的变换矩阵为最终的变换矩阵。