[发明专利]计数图辅助的跨模态人流监控方法和系统

说明书

计数图辅助的跨模态人流监控方法，包括：步骤1，生成计数图，用基于深度强化学习的模型LibraNet，以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；步骤2，基于跨模态的网络模型进行人群计数，设计网络模型，以作为三模态的RGB、热成像图、计数图为输入，输出密度图，对密度图里的值进行求和，获得作为输入的RGB图像的总人数。本发明还包括计数图辅助的跨模态人流监控系统。本发明提供的模型能兼顾光照变化和尺度变化，生成更精确的密度图。

技术领域

本发明涉及一种基于跨模态的卷积神经网络的人流监控方法和系统。

背景技术

人群计数作为拥挤场景分析中的最基本任务之一，在人流监控、安全防范等方面有着巨大的应用前景，在近几年来得到了计算机视觉界的广泛关注。然而由于人的复杂分布、图片的尺度变化、光照影响、遮挡、背景杂物等因素，基于单图像的人群计数仍然是一个活跃而具有挑战性的课题。

早期的人群计数是采用行人检测的方法的，但这种方法受遮挡影响较大，在高拥挤的场景下性能较差。由于行人检测的固有缺陷，研究人员把目光放到回归方法上，学习从裁剪的图像块中提取的特征之间的关系，然后计算特定对象的数量。然而这种方法不能显示人群的空间分布。近几年来，随着密度图的提出和卷积神经网络的发展，基于CNN的计数方法不断被提出，并且这种方法以密度图为输出，既能反应出人的空间分布，又能准确估计出人数。在基于CNN的方法中，主流的有多层次特征图融合方法、透视辅助方法、对传统的L2损失函数进行改进的方法、优化密度图的方法等等。这些方法或多或少都对单张图片的尺度变化有所关注，但很少关注光照的变化。而关注光照变化的方法，诸如跨模态RGBT计数方法，又很少关注尺度变化。

发明内容

本发明要克服现有技术的上述缺点，提供一种能兼顾光照变化和尺度变化的基于图像的人流监控方法和系统。

本发明主要采用RGBT数据集，该数据集提供了RGB图、热成像图和标注数据，且标注数据选用热成像图的标注数据。该数据集提供了明亮与昏暗的场景。本发明首先生成计数图。再构建新的跨模态的人群计数网络模型，使之能跨RGB、热成像图、计数图三个模态。然后训练该卷积神经网络。

本发明的计数图辅助的跨模态人流监控方法，包括如下步骤：1生成计数图；

计数图是对密度图一定区域的积分，能反应出图像的尺度变化；计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；具体包括：

11)训练深度强化模型；选取RGBT-CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置；将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet；以{-10，-5，-2，-1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小，比如5就是该计数值加上5，-5表示该计数值减去5。

12)生成计数图；将训练好的LibraNet模型固定，输入RGBT-CC数据集中所有的热成像图来生成计数图；计数图中的每个值能反应对应热成像图像素区域的大致数量信息。

13)计数图优化；因为生成的计数图的长、宽只有原来的其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致；采用最近邻插值方式进行上采样，并在每个像素位置除以2^2*n，以使总的计数值不变并且图像大小与原图一致。

2基于跨模态的网络模型进行人群计数；