[发明专利]一种基于跨模态间尺度注意聚合特征的计数系统及方法

权利要求书

1.一种基于跨模态间尺度注意聚合特征的计数系统，其特征在于包括：获取模块、可见光初始特征提取模块、红外热初始特征提取模块、可见光尺度通道聚合特征提取模块、红外热尺度通道聚合特征提取模块、跨模态尺度感知特征融合模块、人群密度图回归模块和人群计数模块；

获取模块用于获取待计数人群的场景可见光图像和红外热图像；所述可见光初始特征提取模块用于将可见光图像进行可见光模态初始特征提取；所述红外热初始特征提取模块将红外热图像进行红外热模态初始特征提取；所述可见光尺度通道聚合特征提取模块用于将可见光初始特征进行可见光模态尺度通道注意聚合；红外热尺度通道聚合特征提取模块用于将红外热初始特征进行红外热模态尺度通道注意聚合；跨模态尺度感知特征融合模块用于将可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺度空间注意聚合；人群密度图回归模块将跨模态尺度空间聚合特征进行密度图回归；人群计数模块用于将人群密度图的像素值进行求和。

2.根据权利要求1所述一种基于跨模态间尺度注意聚合特征的计数系统，其特征在于所述各模块具体组成为：

可见光初始特征提取模块：从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层，每个卷积层的卷积核尺寸均为3×3，各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，各所述池化层均为步长为2的最大池化层；

红外热初始特征提取模块：从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层，每个卷积层的卷积核尺寸均为3×3，各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，各所述池化层均为步长为2的最大池化层；

可见光尺度通道聚合特征提取模块：包括可见光初始第一尺度卷积层至可见光初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层；六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13，全局平均池化层特征图空间方向的窗口尺寸为1×1；

红外热尺度通道聚合特征提取模块：包括红外热初始第一尺度卷积层至红外热初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层；六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13，全局平均池化层特征图空间方向的窗口尺寸为1×1；

跨模态尺度感知特征融合模块：包括可见光第一尺度卷积层至可见光第六尺度卷积层等六个尺度卷积层，第一全局平均池化层、可见光空间注意变换卷积层、Sigmoid层、红外热第一尺度卷积层至红外热第六尺度卷积层，六个尺度卷积层、第二全局平均池化层和红外热空间注意变换卷积层；所述可见光第一至第六尺度卷积层，六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13，所述红外热第一至第六尺度卷积层，六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13，所述第一平均池化层和第二平均池化层均为特征图通道方向的窗口尺寸为1×1的全局平均池化层；所述可见光空间注意变换卷积层和红外热空间注意变换卷积层均为一个卷积核尺寸为7×7和输出通道数为1的卷积层；

人群密度图回归模块：从输入到输出方向依次为三个卷积层，卷积核尺寸均为3×3，生成的特征图通道数依次为256、128和1。