[发明专利]一种基于解纠缠图像迁移的跨域人群计数方法

权利要求书

1.一种基于解纠缠图像迁移的跨域人群计数方法，其特征在于步骤如下：

步骤1：将带有标注信息的源域图像和没有标注信息的目标域图像交替输入到风格迁移神经网络进行训练，得到训练好的网络；

所述的带标注信息的源域图像是指由游戏引擎合成的虚拟人群图像，每张图像在生成时由电脑自动完成人头位置的标注；所述的目标域图像是真实场景下拍摄的人群图像，不具有人头位置的标注；

所述的风格迁移神经网络包含编码器、解码器和鉴别器三个部分，其中，编码器由2个卷积层和4个残差块顺序连接而成，第一卷积层的卷积核为7x7、步长为1，第二卷积层的卷积核为3x3、步长为2，每个残差块由两个卷积核为3x3、步长为1的卷积层连接而成，将图像输入到第一卷积层，输出得到64通道的特征，64通道的特征输入到第二卷积层，输出得到下采样的特征，再将下采样的特征输入到残差块，输出得到域不变特征；解码器的结构和编码器的结构对称，由4个残差块和2个反卷积层顺序连接而成，解码器将编码器输出的域不变特征恢复成风格迁移图像；鉴别器由5个卷积核为4x4的卷积层连接而成，将解码器输出的风格迁移图像输入到鉴别器，输出得到图像是属于源域图像还是目标域图像的判定结果；

训练中设定网络的损失函数为：

其中，表示加权计算后的总损失，λ_rec表示图像重建损失的权重，取值范围为[0.01,0.1]，表示图像重建损失，λ_trans表示域迁移损失的权重，取值范围为[0.01,0.1]，表示域迁移损失，λ_{trans_adv}表示域迁移对抗损失的权重，取值范围为[0.001,0.01]，表示域迁移对抗损失；

所述的图像重建损失的计算公式如下：

其中，x^s表示源域图像，x^t表示目标域图像，表示源域图像的分布，表示目标域图像的分布，E_c(x^s)表示对源域图像的编码，E_c(x^t)表示对目标域源域图像的编码，D_s(E_c(x^s))为风格迁移神经网络里的解码器输出的源域重建图像，D_t(E_c(x^t))为风格迁移神经网络里的解码器输出的目标域重建图像；

所述的域迁移损失的计算公式如下：

其中，ψ^(l)(x)表示输入的图像x经过VGG网络提取的第l层的特征，ψ^(l)(y)表示输入的图像y经过VGG网络提取的第l层的特征，N^(l)表示VGG网络第l层特征的通道数，w^(l)对第l层的损失进行加权，l的取值为[1,5]；

所述的域迁移对抗损失的计算公式如下：

其中，x^s2t表示源域图像经风格迁移神经网络转化为具有目标域风格的图像，D^s2t(x^t)是目标域图像的鉴别结果，取值范围为[0,1]，D^s2t(x^s2t)是源域转化到目标域图像的鉴别结果，取值范围为[0,1]；

步骤2：将源域图像输入到训练好的风格迁移神经网络，由风格迁移神经网络里的图像解码器输出得到具有目标域风格的图像集；

步骤3：将步骤2得到的转换后的目标域风格图像集输入到高分辨率人群计数器网络训练，得到训练好的高分辨率人群计数网络；

所述的高分辨率人群计数器网络包括编码器和解码器两部分，其中，编码器由ResNet-50网络的conv1、conv2_x、conv3_x、conv4_x顺序连接而成，conv1是个卷积核为7x7x64的卷积层，conv2_x是3个bottleneck，conv3_x是4个bottleneck，conv4_x是6个bottleneck，每个bottleneck为3层卷积层，图像输入到编码器，输出图像的特征图；解码器为三个卷积层和三个转置卷积层连接而成，每个卷积层后均连接一个ReLU激活层，编码器输出的特征图输入到解码器，输出得到人群密度图像；

训练中设定网络的损失函数为：

其中，表示网络的回归损失，θ_c表示人群计数网络的参数，在训练中进行调整，N为训练batch的大小，取值为图像x_i的像素点个数，x_i表示输入的第i幅源域图像，Z(x_i；θ_c)表示输入图像x_i时人群计数网络输出的人群密度预测结果，为输入图像x_i的密度估计真实值；

步骤4：将待测试的目标域的图像输入到步骤3训练好的高分辨率人群计数网络，得到人群密度图像，计算人群密度图像中所有像素的和为最终的人群计数结果。