[发明专利]一种基于多尺度交互式网络的人群计数方法及系统

说明书

本公开提供了一种基于多尺度交互式的人群计数方法及系统，所述方案通过多尺度交互式网络，来有效地满足人群及时任务中的多尺度要求。在该网络中，聚合交互模块可以通过相互学习的方式有效地利用邻层的上下文特征，而自交互模块则使网络可以自适应地从图像中提取多尺度信息，并更好地应对图像中人群尺度连续的变化。

技术领域

本公开涉及计算机视觉图像处理技术领域，具体涉及一种基于多尺度交互式的人群计数方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

人群计数在社会安全防护领域中占有非常重要和不可或缺的地位。由于群众集会无处不在，并且在体育、音乐、政治和其他社会活动中必然会频繁发生。自动化的人群计数在此类事件的处理和分析中起着重要作用。人群计数是计算机视觉领域的一个活跃的研究领域，因为许多关键问题还没有得到合理的解决，如严重的遮挡、图像中不同区域内和跨区域巨大人群多样性以及大视角变化等，尤其是尺度连续变化是目前比较棘手的一个问题。此外，基于人工的人群计数和传统的人群计数方法过程繁琐且耗时并且只适用于稀疏的人群图像。因此，这些方法不可靠且效率低下。

近年来，最先进的人群计数方法绝大多数是基于CNN的方法，大部分方法通过多列结构采取不同大小的卷积核提取不同尺度的信息来应对尺度变化的问题。发明人发现，虽然目前已经取得了很大的进展，但是一张图像中人群的尺度变化是连续的，通过不同大小的卷积核只能够提取离散尺度的人群特征。因此，如何从尺度变化的图像中提取更多的有效信息仍是一个具有挑战的难题。

发明内容

本公开为了解决上述问题，提供了一种基于多尺度交互式的人群计数方法及系统，所述方案通过多尺度交互式网络，来有效地满足人群及时任务中的多尺度要求。在该网络中，聚合交互模块可以通过相互学习的方式有效地利用邻层的上下文特征，而自交互模块则使网络可以自适应地从图像中提取多尺度信息，并更好地应对图像中人群尺度连续的变化。

根据本公开实施例的第一个方面，提供了一种基于多尺度交互式的人群计数方法，包括：

获取待计数人群图像；

将所述人群待计数图像输入预训练的多尺度交互式网络中，输出人群密度图；对所述密度图像素值进行累加求和，获得最终的人群计数结果；

其中，所述多尺度交互式网络包括编码器、聚合交互模块和解码器，编码器包括多层特征提取模块，所述多层特征提取模块通过VGG-16提取到多层特征，所述聚合交互模块通过相互学习的方式有效地融合相邻尺度的特征，解码器包括自交互模块，所述自交互模块从提取的特征中获得丰富的尺度信息。

进一步的，所述多层特征提取模块以VGG-16为主干，将图像输入到主干网络中，来提取多层特征信息，作为的输入。

进一步的，所述多层特征模块删除了VGG-16的最后一个最大池化层，来维护最后一个卷积层的细节。

进一步的，所述聚合交互模块包括若干AIM，所述AIM利用邻层的特征作为输入，通过相互学习的方式融合邻层的上下文特征信息，为获取丰富的多尺度上下文信息提供补充。

进一步的，所述自交互模块包括若干SIM，通过从层内特征中产生多尺度特征表示，使网络自适应地从数据中提取多尺度信息，并有效处理显著物体的尺度变化。

进一步的，所述自交互模块中应用了转换-交互-融合策略，具体地说，输入特征的分辨率和维数首先通过卷积层降低，在每个分支中，SIM都会进行初始变换以适应下面的交互操作；通过将低分辨率特征进行上采样，对高分辨率特征进行下采样，使其与他分支的特征的分辨率相同；不同通道数的高分辨率特征与低分辨率特征相互作用，可以获得各种尺度的丰富特征，并以较低的参数量保持高分辨率特征信息。

进一步的，所述人群密度图利用解码器输出的特征图进行密度回归，得到高质量的人群密度图。