[发明专利]基于注意力机制循环缩放的人群计数与定位方法和系统

权利要求书

1.一种基于注意力机制循环缩放的密集人群计数与精确定位方法，其特征在于，包括以下步骤：

1)建立三分支的深度神经网络，分别获取输入图像对应的人群计数密度图、人群位置分布图以及缩放候选区域注意力图；

2)通过所述人群计数密度图得到图像中初始的人群计数值，通过所述人群位置分布图得到图像中每个人物的位置坐标，通过所述缩放候选区域注意力图得到图像中人群密集的若干区域；

3)将所述人群密集的若干区域从图像中剪切出来，通过提高分辨率获得精确的定位结果，并用其更新所述人群位置分布图；

4)利用根据所述人群计数密度图得到的人群计数值和根据步骤3)更新后的所述人群位置分布图得到的人群计数值，通过加权得到准确的人群计数值。

2.根据权利要求1所述的方法，其特征在于，所述三分支的深度神经网络构成主网络，所述主网络包括定位分支、计数分支以及缩放候选区域分支；所述定位分支由空洞卷积层和3个反卷积层构成，最后输出一层和原始图片分辨率大小相同的人群位置分布图；所述计数分支只由空洞卷积层构成，该分支输出原始图片分辨率1/8大小的人群计数密度图；将定位分支和计数分支输出的特征图做拼接，作为所述缩放候选区域分支的输入，所述缩放候选区域分支通过3个空洞卷卷积层，输出和输入图像分辨率大小相同的缩放候选区域注意力图。

3.根据权利要求1或2所述的方法，其特征在于，所述提高分辨率，是将分辨率放大为原来的两倍。

4.根据权利要求2所述的方法，其特征在于，所述通过提高其分辨率获得精确的定位结果，是将提高分辨率后的所述人群密集的若干区域送入循环缩放网络得到精确的人物定位结果；所述循环缩放网络不含有计数分支，其余部分与所述主网络保持一致。

5.根据权利要求4所述的方法，其特征在于，所述循环缩放网络自身能够得到缩放候选区域注意力图，根据缩放候选区域注意力图决定是否再次剪切区域并继续通过所述循环缩放网络，直到缩放候选区域注意力图中找不到新的人群密集的区域。

6.根据权利要求4所述的方法，其特征在于，按照计数分支、定位分支、缩放候选区域分支的顺序依次对所述主网络的三个分支进行训练；以训练完成的所述主网络的参数作为所述循环缩放网络的初始化参数，对所述循环缩放网络进行微调。

7.根据权利要求6所述的方法，其特征在于，对于计数分支，以该分支输出的人群计数密度图与真实的人群计数密度图之间的MSE损失作为优化目标函数，对该分支的模型参数进行梯度更新；计数分支收敛后，将计数分支学习到的参数作为定位分支的初始化参数，定位分支以预测人头位置图与真实人头位置图之间的带权重的BCE损失作为优化目标函数，对该分支的模型参数进行梯度更新；计数分支与定位分支学习结束后，固定这两个分支的参数，开始训练缩放候选区域分支，该分支以MSE损失作为优化目标函数。

8.根据权利要求1所述的方法，其特征在于，所述通过加权得到准确的人群计数值，其权重采用以下方式获得：

a)在训练集上分别根据人群计数密度图、人群位置分布图得到人群计数值；

b)根据已经有的图像对应的真实人群计数值，学习到步骤a)得到的两个人群计数值之间的融合权重。

9.根据权利要求1所述的方法，其特征在于，根据人群位置分布图得到人群计数值的方法是：

a)对人群位置分布图做非极大值抑制，然后取响应值大于某一阈值的所有位置点作为峰值点；

b)取人群位置分布图中的峰值点的位置作为人头定位坐标；

c)通过对人头定位坐标进行计数得到图像中出现的人物总数。

10.一种基于注意力机制循环缩放的密集人群计数与精确定位系统，其特征在于，包括：

主网络模块，其包含三分支的深度神经网络，用于分别获取输入图像对应的人群计数密度图、人群位置分布图以及缩放候选区域注意力图；通过所述人群计数密度图得到图像中初始的人群计数值，通过所述人群位置分布图得到图像中每个人物的位置坐标，通过所述缩放候选区域注意力图得到图像中人群密集的若干区域；将所述人群密集的若干区域从图像中剪切出来，并提高其分辨率；

循环缩放网络模块，负责以提高分辨率后的所述人群密集的若干区域为输入，得到精确的人物定位结果，并用其更新所述人群位置分布图；

融合计数模块，负责利用根据人群计数密度图得到的人群计数值和根据人群位置分布图得到的人群计数值，通过加权得到准确的人群计数值。