[发明专利]一种基于目标域伪标签的自监督跨域人群计数方法

说明书

本发明提供了一种基于目标域伪标签的自监督跨域人群计数方法，其特点是采用多级特征响应分支的两阶段领域自适应方法，实现跨域人群的准确计数，所述多级特征响应分支采学习源域与目标域的域共享知识，将训练好的模型为无标注的目标域生成高置信度的伪标签，然后利用伪标签在目标域进行自监督学习，得到可以在实际场景中应用的计数模型。本发明与现有技术相比具有减少目标预测的不一致性，防止模型过拟合伪标签中的噪声，不仅适用多个场景的人群计数，还无需对目标场景进行标注，节省人力物力，准确度高，实现了更好的跨域人群计数效果。

技术领域

本发明涉及计算机视觉、图形处理技术领域，具体地说是一种基于目标领域内特定知识进行自监督训练的跨域人群计数方法。

背景技术

人群计数的研究在现实生活中有重要的社会意义和广泛的应用前景，随着中国人口的显著增长，各大人群集聚活动不断增多，社会对精确密集人群计数研究的需求场景也不断增加。如利用人群计数方法可为地铁站、商场、体育场等公共场所的安全预警提供有效指导，尤其在COVID-19疫情期间，人群计数方法可以在人员密集区的监控和自动报警上发挥作用。

随着计算机视觉技术的持续发展，人群计数领域涌现出了大量方法。传统的人群计数方法主要有以下几类：1)基于检测的方法，使用一个移动窗口式检测器来识别图像中的人，并计算出有多少人。该方法需要效果良好的分类器来提取低层次特征，在人脸检测方面效果很好，但在人群更为密集的图像上效果不佳。因为它存在检测目标的下限，当图片中人群目标较小的时候，基于检测的方法并不十分有效。2)基于回归的方法，对于低级别的特征，上述方法并不十分有效，故可以使用基于回归的方法。基于回归的方法的基本步骤为：首先提取如前景特征、边缘特征、纹理和梯度特征的低级特征，然后使用网络学习图像中的特征，最后回归得出图片中的总人数。但这种方法存在鲁棒性差的问题，因为网络学习的特征与人不是强相关，测试环境变化时稳定性会变差。3)密度估计的方法，首先为要检测的图片创建一个密度图。然后学习提取特征与目标密度映射之间的线性映射，可以利用随机森林回归来学习非线性映射。4)基于CNN的方法，使用可靠的卷积神经网络(CNN)构建一个端到端的回归方法，将整个图像作为输入，并直接生成人群计数，CNN在回归或分类任务中非常有效，并且在生成密度图方面也证明了它们的价值。

现有技术的人群计数方法在主流数据集上研究的效果不佳，其主要原因在于数据集中有限的场景不能完全满足多样的人群聚集场景的画面需求，在一个场景里训练的人群计数模型无法有效应用于另一个场景。另外，这些方法基于监督学习进行训练，因此需要大量带标签的图像数据，而收集并准确标注需要的图像数据较为困难。

发明内容

本发明的目的是针对现有技术的不足而提出的一种基于目标域伪标签的自监督跨域人群计数方法，采用多级特征响应分支的两阶段领域自适应方法，挖掘目标域中无标签的领域特定知识，以增强模型对目标领域的适应性，利用无监督的计数方法训练数据并达到较高的准确，实现更好的跨域人群计数效果，第一阶段中，多级特征响应分支专注于学习源域与目标域的域共享知识，减少不同场景预测的不一致性；第二阶段中，利用训练好的模型为无标注的目标域生成高置信度的伪标签在目标域进行自监督学习，促进模型对目标领域知识进一步适应，最终得到可以在实际场景中应用的计数模型，大大减少了不同场景的预测不一致性，不仅适用于多个场景的人群计数，还无需对目标场景进行标注，节省人力物力，最终能达到较好的准确度。

本发明的目的是这样实现的：一种基于目标域伪标签的自监督跨域人群计数方法，其特点是采用多级特征响应分支的两阶段领域自适应方法，利用无监督的计数方法训练数据，实现跨域人群的准确计数，具体包括如下步骤：

步骤1：将有标注信息的源域图像和无标注信息的目标域图像交替输入到多级特征响应分支进行跨域网络训练，共同学习源域和目标域之间的域共享知识，所述有标注信息的源域图像是指由GTA5游戏引擎自动生成的仿真人群图像，人头位置由电脑自动标注；所述目标域图像是在真实世界中采集的人群图像，其不包含任何标注信息。