[发明专利]一种基于跨模态间尺度注意聚合特征的计数系统及方法

说明书

本发明公开一种基于跨模态间尺度注意聚合特征的计数系统及方法，属于图像处理领域。所述方法包括：获取包括待计数可见光和红外热图像；将可见光图像进行初始特征提取；将红外热图像进行初始特征提取；将可见光初始特征进行尺度通道注意聚合，得到可见光尺度通道聚合特征；将红外热初始特征进行尺度通道注意聚合，得到红外热尺度通道聚合特征；将可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺度空间注意聚合，得到跨模态尺度空间聚合特征；将跨模态尺度空间聚合特征进行密度图回归，将密度图像素值进行求和，得到人群计数结果。本发明能够有效解决人群尺度变换对跨模态特征融合的负面影响，从而提高跨模态人群计数性能。

技术领域

本发明涉及图像处理领域，尤其是一种基于跨模态间尺度注意聚合特征学习的人群计数方法及系统。

背景技术

近年来，智能视频监控技术为社会公共安全管理提供了很大的保障。人群计数作为智能视频监控应用中的人群分析和人群异常检测等现实场景应用的核心算法之一，受到了学术界和工业界的广泛关注。现有大部分人群计数方法主要利用可见光图像(RGB图像)作为场景信息进行人群数量预测。虽然可见光图像能够较好描述强光线及白天场景的场景细节信息，但由于其自身依靠光线反射的成像原理在弱光线及夜间场景下常常无法提供足够的场景信息，少量的一些人群计数方法引入面向热源体敏感的红外热图像作为人群计数过程中可见光图像的互补数据源，形成跨模态人群计数解决方案。现有面向可见光-红外热图像的跨模态人群计数方法主要侧重于将可见光图像和红外热图像进行不同模态信息融合的过程设计，忽视了人群场景中由于“远小近大”产生的尺度变换现象对跨模态特征有效融合的负面影响，这种负面影响将导致跨模态人群计数的准确率剧烈下降。

发明内容

本发明需要解决的技术问题是提供一种基于跨模态间尺度注意聚合特征的计数系统及方法，以降低人群场景中尺度变换对跨模态特征融合的负面影响，从而提高面向可见光-红外热图像跨模态信息的人群计数的准确性。

为解决上述技术问题，本发明所采用的技术方案是：一种基于跨模态间尺度注意聚合特征的计数系统包括：获取模块、可见光初始特征提取模块、红外热初始特征提取模块、可见光尺度通道聚合特征提取模块、红外热尺度通道聚合特征提取模块、跨模态尺度感知特征融合模块、人群密度图回归模块和人群计数模块。

本发明技术方案的进一步改进在于：所述模块具体组成为：

可见光初始特征提取模块：从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层，每个卷积层的卷积核尺寸均为3×3，各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，各所述池化层均为步长为2的最大池化层；

红外热初始特征提取模块：从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层，每个卷积层的卷积核尺寸均为3×3，各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，各所述池化层均为步长为2的最大池化层；

可见光尺度通道聚合特征提取模块：包括可见光初始第一尺度卷积层至可见光初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层；六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13，全局平均池化层特征图空间方向的窗口尺寸为1×1；

红外热尺度通道聚合特征提取模块：包括红外热初始第一尺度卷积层至红外热初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层；六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13，全局平均池化层特征图空间方向的窗口尺寸为1×1；