[发明专利]基于Transformer的热红外图像立体匹配方法及装置

权利要求书

1.一种基于Transformer的热红外图像立体匹配方法，其特征在于，所述方法包括：

获取热红外图像校正后的左视图和右视图；

采用UNet特征提取网络对所述左视图和所述右视图进行特征提取，得到多尺度特征图，所述多尺度特征图包括分别与所述左视图和所述右视图对应的多尺度特征图；

基于Transformer特征转换模块对所述多尺度特征图进行处理，得到所述左视图的转换特征图和所述右视图的转换特征图；

基于所述左视图的转换特征图和所述右视图的转换特征图，生成视差图。

2.如权利要求1所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述Transformer特征转换模块包括位置编码模块和注意力模块，所述多尺度特征图作为所述位置编码模块的输入，所述位置编码模块的输出作为所述注意力模块的输入，所述位置编码模块用于将所述多尺度特征图与所述多尺度特征图经过二维卷积后的特征图相加；

所述注意力模块包括依次连接的自注意力层和互注意力层。

3.如权利要求2所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述注意力模块实现注意力机制的公式表示如下：

Attention(Q,K,V)＝φ(Q)φ(K)^TV

其中，Attention()为注意力函数，Q为注意力层的输入向量Query，K为注意力层的输入向量Key，V为注意力层的输入向量Value，φ(·)＝elu(·)+1。

4.如权利要求1所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述基于所述左视图的转换特征图和所述右视图的转换特征图，生成视差图，包括：

基于所述左视图的转换特征图和所述右视图的转换特征图，构造四维代价体；

将所述四维代价体经三维卷积进行代价聚合，得到不同尺度的聚合代价体；

利用视差回归方程，对不同尺度的所述聚合代价体进行估算，得到所述视差图。

5.如权利要求4所述的基于Transformer的热红外图像立体匹配方法，其特征在于，所述视差回归方程的公式表示如下：

其中，c_d为预测代价，σ()为softmax函数，d为视差值，为预测视差值，D_max为最大视差。

6.一种基于Transformer的热红外图像立体匹配装置，其特征在于，所述装置包括：

获取模块，用于获取热红外图像校正后的左视图和右视图；

特征提取模块，用于采用UNet特征提取网络对所述左视图和所述右视图进行特征提取，得到多尺度特征图，所述多尺度特征图包括分别与所述左视图和所述右视图对应的多尺度特征图；

Transformer特征转换模块，用于基于Transformer特征转换模块对所述多尺度特征图进行处理，得到所述左视图的转换特征图和所述右视图的转换特征图；

视差图生成模块，用于基于所述左视图的转换特征图和所述右视图的转换特征图，生成视差图。

7.如权利要求6所述的基于Transformer的热红外图像立体匹配装置，其特征在于，所述Transformer特征转换模块包括位置编码模块和注意力模块，所述多尺度特征图作为所述位置编码模块的输入，所述位置编码模块的输出作为所述注意力模块的输入，所述位置编码模块用于将所述多尺度特征图与所述多尺度特征图经过二维卷积后的特征图相加；

所述注意力模块包括依次连接的自注意力层和互注意力层。

8.如权利要求7所述的基于Transformer的热红外图像立体匹配装置，其特征在于，所述注意力模块实现注意力机制的公式表示如下：

Attention(Q,K,V)＝φ(Q)φ(K)^TV

其中，Attention()为注意力函数，Q为注意力层的输入向量Query，K为注意力层的输入向量Key，V为注意力层的输入向量Value，φ(·)＝elu(·)+1。