[发明专利]基于强化学习的近红外和可见光遥感图像配准方法

说明书

本发明公开了一种基于强化学习的近红外和可见光遥感图像配准方法，包括以下步骤：S1，将红外和可见光图像修剪到同样大小，并做堆叠处理；S2，将堆叠后的图像输入残差改进的密集神经网络进行处理并输出配准所需要的Q值；S3，根据Q值进行推理预测出策略动作空间中每个动作的概率分布；S4，根据每个动作的概率分布，在策略动作空间中选择一个概率最大的动作，并由待配准图像执行该动作；S5，当待配准图像和参考图像达到设定的相似度阈值后，对当前图像配准进行贪心算法推理采样；S6，对当前待配准图像进行移动重采样输出最终配准结果。本发明图像配准方法的配准图像各处衔接自然流畅，多模态图像配准更加稳定，效果更好。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于强化学习的近红外和可见光遥感图像配准方法。

背景技术

可见光和红外传感器是在不同的任务中常用并且经常同时使用的两种传感器，例如人脸检测、对象跟踪、土地覆盖分类和无人驾驶汽车。对于遥感图像，捕获的全色或者RGB组成的图像最接近人类的视觉，但是会受到光照和大气条件等的严重影响；近红外图像对于天气条件会有更高的鲁棒性，不易受其影响。但是由于它们是在不同波段下通过不同的成像机制获取的，所以可见光和红外图像之间存在很大的几何差异和不同的辐射强度。这种差异可能会使常规的依赖强度和渐变的配准方法失效。

传统图像配准方法有基于区域和基于特征的方法。目前，许多基于特征的方法(如SIFT及其变体)，它们在光学等配准问题中达到了很好的效果，但在不同波段的遥感图像配准中并不理想。基于区域的方法对于定义相似性度量的方法要求很高，归一化互相关(NCC)和互信息(MI)是两个常用的不同模态图像配准相似性度量方法。NCC主要用于光学图像配准，但是在不同模式图像配准中不能出现好的效果，MI在不同模式的图像配准中有广泛的应用。

而光学图像和红外图像的配准方法应该是比较独特的，并且由于不同的传感器成像条件的差异引起的各种非线性变化，手工制作的特征或MI不足以描述。遥感图像配准已经使用卷积网络和全连接网络，这些方法成功用于相同模式的遥感图像配准。但是在最近的基于学习的光学图像配准以及特定的近红外和可见光遥感图像配准中并不理想。

发明内容

针对目前基于学习的光学图像配准以及特定的近红外和可见光遥感图像配准并不理想，本发明提出了一种基于强化学习的近红外和可见光遥感图像配准方法。

为了解决上述技术问题，本发明的技术方案为：

一种基于强化学习的近红外和可见光遥感图像配准方法，包括以下步骤：

S1，将红外和可见光图像修剪到同样大小，并做堆叠处理；

S2，将堆叠后的图像输入残差改进的密集神经网络进行处理并输出配准所需要的Q值；

S3，根据Q值进行推理预测出策略动作空间中每个动作的概率分布；

S4，根据每个动作的概率分布，在策略动作空间中选择一个概率最大的动作，并由待配准图像执行该动作；

S5，当待配准图像和参考图像达到设定的相似度阈值后，对当前图像配准进行贪心算法推理采样；

S6，对当前待配准图像进行移动重采样输出最终配准结果。

优选的，步骤S1包括以下步骤：准备好需要配准的可见光参考图像和近红外待配准图像，将两幅图像修剪到同样大小，然后进行堆叠处理，堆叠后的图像有R、G、B和NIR四个通道。

优选的，步骤S2所述残差改进的密集神经网络中，第1、3、5层为卷积层，均有64个通道和3*3的卷积核；第2、4层为两个残差块；第6层使用1*1卷积核融合来自多个层次的信息，输出具有256个通道的特征映射；最后两个卷积层用于进一步调整这些多级特征的相互依赖性；第一个全连接层用于将二维特征图压缩为一维向量，最后一个全连接层通过Softmax函数将向量转换为策略动作的Q值。