[发明专利]一种基于孪生语义网络的交通场景热红外语义生成方法

摘要

本发明公开一种基于孪生语义网络的交通场景热红外语义生成方法，步骤如下：步骤一：基于改进U型网络的语义生成网络G1和G2；步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别；步骤三：设计并引入孪生语义损失Lstyle。本发明基于循环生成对抗网络的理论框架，通过合理设计网络结构，引入包括残差模块和空洞卷积以实现更高质量的特征提取和语义生成，同时由代表热红外风格的局部特征以孪生语义损失Lstyle的形式将整体网络循环的不同阶段联系起来，以生成更加稳定的热红外语义交通图像。本发明可广泛应用于智能交通系统中基于多源图像联系的模拟和仿真系统，具有广阔的市场前景与应用价值。

主权项

1.一种基于孪生语义网络的交通场景热红外语义生成方法，其特征在于：该方法具体步骤如下：步骤一：基于改进U型网络的语义生成网络G1和G2由图像语义生成网络G1和G2，分别实现可见光到热红外以及热红外到可见光的图像风格迁移模型；网络G1和G2均基于U型网络，并针对交通图像特点进行了局部改进以增强特征传递效率和循环生成对抗网络的训练效率，所述的局部改进具体如下:首先，为了提高卷积模块的梯度传递效率，原卷积模块的输入与输出将直接叠加作为下一层的输入，即将卷积模块的两层卷积将以残差连接的形式组成残差模块作为基本的特征提取结构；其次，为了增大特征感受野和网络鲁棒性，在不同层次的残差模块中引入了包括多尺度卷积核及随机失效层模块；最后，在G1和G2在输出风格转换图像的同时，网络中第一层和第二层最大池化特征谱也作为风格特征输出引入到孪生语义损失中；步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别设计热红外语义判别网络D1和可见光语义判别网络D2，引入空洞卷积改善判别CNN网络性能，分别对由热红外语义生成网络G1生成的热红外图像和可见光语义生成网络G2生成的可见光图像以GAN损失进行真假判别，提高语义判别网络D1和D2的辨别能力；步骤三：设计并引入孪生语义损失L_style本发明循环生成对抗网络中包括两条线路：其一，可见光图像由生成网络G1生成仿真热红外图像，再由生成网络G2重建可见光图像；其二，热红外图像由生成网络G2生成仿真可见光图像，再由生成网络G1重建热红外图像；由于热红外语义生成网络G1和可见光语义生成网络G2分别被以不同的输入传输了两次，为了增强闭环中用于同一语义生成的网络相关性，使得生成风格与交通图像的典型目标布局紧密相连，以将生成网络G1和G2的两阶段中间特征分以孪生语义损失L_style的形式引入，以降低两次传输的中间结果的差异性可以提高语义生成效率，从而获取更加鲁邦的迁移性能，具体实施过程如下：整体网络中用到G1网络的中间过程包括：由可见光图像生成仿真热红外图像过程和由仿真可见光图像生成重建热红外图像过程，将两个过程中G1生成的第一层和第二层最大池化特征谱分别求取内积矩阵并以均方误差损失的形式加入到孪生语义损失L_style中；由可见光图像生成热红外语义图像网络G1的孪生语义损失L_{style_G1}定义为：其中G1(i|x)为可见光图像x生成仿真热红外图像在网络G1中的第i层最大池化特征，G1(i|y)为对应的由仿真可见光图像y生成重建热红外图像在网络G1中的第i层最大池化特征，Gram为求取特征谱的内积矩阵函数，定义为：Gram_ij(x)＝<Feature_i(x),Feature_j(x)>；G2网络同理，涉及到G2网络的中间过程包括：由热红外图像生成仿真可见光图像过程和由仿真热红外图像生成重建可见光图像过程，将两个过程中G2生成的第一层和第二层最大池化特征谱分别求取内积矩阵并以均方误差损失的形式加入到孪生语义损失L_style中；L_{style_G2}定义为：其中G2(i|x)为热红外图像x生成仿真可见光图像在网络G2中的第i层最大池化特征，G2(i|y)为对应的由仿真热红外图像y生成重建可见光图像在网络G2中的第i层最大池化特征，Gram为求取特征谱的内积矩阵函数。