[发明专利]一种基于目标域伪标签的自监督跨域人群计数方法

权利要求书

1.一种基于目标域伪标签的自监督跨域人群计数方法，其特征在于采用多级特征响应分支的两阶段领域自适应方法，利用伪标签在目标域进行自监督学习，得到实际场景中应用的计数模型，具体包括如下步骤：

步骤1：将有标注信息的源域图像和无标注信息的目标域图像，交替输入到多级特征响应分支进行跨域网络训练，且共同学习源域和目标域之间的域共享知识，所述有标注信息的源域图像为GTA5游戏引擎自动生成的仿真人群图像，其人头位置由电脑自动标注；所述目标域图像为真实世界中采集的不包含任何标注信息的人群图像；所述跨域网络由编码器、多级特征解码分支和鉴别器组成；

步骤2：将无标注信息的目标域图像输入步骤1中训练好的跨域网络中，利用多级特征解码分支模块为目标域生成鲁棒的伪标签；

步骤3：将步骤2中得到的伪标签作为监督信息，对无标注信息的目标域数据利用伪标签进行微调，重新训练跨域网络，以加强跨域网络在目标域的适应性；

步骤4：将待测试的目标域的图像输入到步骤3训练好的高分辨率人群计数网络，得到图像的人群密度图，计算密度图中所有像素的和为最终的人群计数结果；

所述第一阶段训练中设定网络的损失函数由下述a式表述：

L_S1(F_h，F_m，F_l，F_f，D_h，D_m，D_l，D_f)＝L_den+λL_adv (a)；

其中：L_S1为第一阶段训练中跨域网络的总损失；L_den为模型输入为源域图像时的密度估计损失；λ表示输入为目标域图像的跨域对抗损失的权重，其取值范围为[0.001，0.01]；L_adv表示模型输入为目标域图像时的跨域对抗损失；F_h、F_m、F_l、F_f分别为高级、中级、低级特征解码器和特征融合网络；D_h、D_m、D_l、D_f分别为高级、中级、低级特征鉴别器和融合特征鉴别器。

2.根据权利要求1所述基于目标域伪标签的自监督跨域人群计数方法，其特征在于所述编码器由VGG-16网络的前13层(Conv1-Conv4)组成，并移除了Conv4中最后一个最大池化层，将图像输入到编码器中，得到E_l、E_m和E_h三个不同级别的人群特征图，其分辨率为原图1/2、1/4和1/8；通道数分别为128、256和512。

3.根据权利要求1所述基于目标域伪标签的自监督跨域人群计数方法，其特征在于所述多级特征解码分支包含高级特征解码器、中级特征解码器、低级特征解码器和融合网络，不同等级的特征解码器F，均由5个卷积层和1个上采样层组成，卷积层前4层卷积核大小为3*3，第5层为1*1，步长均为1，所述高级特征解码器的通道数分别为512、256、128、64和1，其上采样率为8；所述中级特征解码器的通道数分别为256、256、128、64和1，上采样率为4；所述低级特征解码器的通道数分别为128、128、128、64和1，上采样率为2；所述融合网络由2个3*3的卷积层和1个1*1的卷积层组成，将多级特征解码器的密度图进行自适应的融合，得到经过矫正的鲁棒密度图；所述多级特征解码分支中的三个特征解码器分别将编码器输出的三个不同级别人群特征解码成三个相同分辨率的密度图，将其输入融合网络进行自适应融合，生成融合矫正的密度图，得到最终的密度估计结果。

4.根据权利要求1所述基于目标域伪标签的自监督跨域人群计数方法，其特征在于所述鉴别器由5个步长为2，卷积核为4*4的卷积层连接组成，其各层通道数分别为64、128、256、512和1，当输入为无标注的目标域图像时，将3个不同尺度的密度图和自适应融合密度图分别输入到4个鉴别器中，输出得到图像是属于源域图像还是目标域图像的判定结果。