[发明专利]一种无监督人群计数方法、装置及存储介质

说明书

本发明公开了一种无监督人群计数方法、装置及存储介质，方法包括将第一输入图像裁剪为图像块，并获取图像块的粗粒度文本；将图像块输入第一图像编码器，将粗粒度文本输入第一文本编码器，生成第一相似度矩阵，根据第一相似度矩阵和第一区分度类别相似度，筛选出第一目标类别的图像块；获取第二目标类别的图像块的细粒度文本，并输入第二文本编码器，生成第二相似度矩阵，并根据第二相似度矩阵和第二区分度类别相似度，筛选出第二目标类别的图像块，并输入第二图像编码器，将计数文本输入第三文本编码器，生成目标相似矩阵，根据目标相似矩阵和计数文本的相似度，获取图像的人群数量。本发明不需要任何人工标签，极大减少了标注成本。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种无监督人群计数方法、装置及存储介质。

背景技术

踩踏事件的主要原因是无法及时获知人群的具体数量，导致难以及时有效地对人流进行疏散。因此，人群计数成为了视频监控、人群理解、公共安全防范等领域中的热点研究问题。在计算机视觉领域中，人群计数已经成为重要的研究方向之一。

随着深度学习的发展，研究人员利用深度神经网络实现了多种优秀的密集人群计数方法。具体而言，现有方法通过卷积神经网络(CNN)回归密度图，其中最终人数等于预测密度图的积分，取得了重大进展。然而，为了训练基于密度图的网络，研究人员通常需要标注大量的标签，即为每个人头标注一个点，换言之此类方法依赖昂贵的标注成本。例如，包含5,109张图像的NWPU-Crowd数据集需要30名标注员耗费3,000个小时才能完成标注。为了降低标注成本，一些弱监督方法和半监督方法被提出，其中前者通常采用计数级别注释作为监督，后者利用少量完全标注的图像和大量未标注的图像进行训练。然而，弱监督和半监督方法仍需要相当数量的标注成本，特别是在标注人群密集或模糊的图像时。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

发明内容

本发明实施例要解决的技术问题在于如何解决现有人群计数网络模型中需要人工标注大量标签所造成昂贵标注成本的问题。

本发明实施例采用如下技术方案：

第一方面，本发明提供了一种无监督人群计数方法，包括：

获取人群图像的数据集，将所述数据集内给定的第一输入图像裁剪为第一预设尺寸的图像块，设定图像块的第一区分度类别，并根据第一区分度类别获取所述图像块对应的粗粒度文本；

将所述图像块输入第一图像编码器内，将所述粗粒度文本输入到第一文本编码器内，生成图像-文本的第一相似度矩阵，并根据第一相似度矩阵和第一区分度类别的相似度，筛选出第一目标类别的图像块；

设定图像块的第二区分度类别，根据第二区分度类别获取所述第一目标类别的图像块对应的细粒度文本，将所述细粒度文本输入到第二文本编码器内，生成图像-文本的第二相似度矩阵，并根据第二相似度矩阵和第二区分度类别的相似度，筛选出第二目标类别的图像块；

将第二目标类别的图像块输入到第二图像编码器，并将计数文本输入到第三文本编码器内，生成图像-文本的目标相似矩阵，并根据目标相似矩阵和计数文本的相似度，获取图像内的人群数量。

优选的，所述第二图像编码器为经过微调训练的图像编码器，所述微调训练具体包括：

将所述数据集内给定的第二输入图像按照不同的尺寸裁剪为预设数量的一组方形图像块，并根据每个方形图像块内的人数构建所述方形图像块对应的计数文本；

将所述方形图像块输入第一图像编码器内生成带有排序性质的图像嵌入，并将所述计数文本输入到第三文本编码器内生成带有排序性质的文本嵌入；

计算所述图像嵌入和文本嵌入的内积，以获取图像-文本的训练相似度矩阵。