[发明专利]计数图辅助的跨模态人流监控方法和系统

权利要求书

1.计数图辅助的跨模态人流监控方法，包括如下步骤：

步骤1，生成计数图；

计数图是对密度图一定区域的积分，能反应出图像的尺度变化；计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；具体包括：

11)训练深度强化模型；选取RGBT-CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置；将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet；以{-10，-5，-2，-1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小，比如5就是该计数值加上5，-5表示该计数值减去5；

12)生成计数图；将训练好的LibraNet模型固定，输入RGBT-CC数据集中所有的热成像图来生成计数图；计数图中的每个值能反应对应热成像图像素区域的大致数量信息；

13)计数图优化；因为生成的计数图的长、宽只有原来的其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致；采用最近邻插值方式进行上采样，并在每个像素位置除以2^2*n，以使总的计数值不变并且图像大小与原图一致；

步骤2，基于跨模态的网络模型进行人群计数；

设计跨模态网络模型，该模型有四个分支，分为三个输入分支和一个输出分支，三个输入分支分别输入作为三个模态的RGB、热成像图和计数图；输出分支为共享分支，它初始化为0，接收并细化三个模态的信息，它的输出为密度图。除了共享分支外，其余分支均由VGG-19构成。由于VGG-19可分为5层模块，除了最后一层模块，每层模块最后都配备一个2×2的池化层，故三个输入分支均可分为5层模块。共享分支由去除前两层的VGG-19构成，可分为4层模块。设计好模型之后，用RGBT-CC数据集进行训练。训练好模型之后，基于该模型进行人群计数；具体包括：

21)生成上下文信息I；将网络中每个分支每层模块生成的特征图F，用L级金字塔池化层来提取上下文信息I；具体地，对于第l层(l＝1，2，...，L)，采用一个2^l-1×2^l-1最大池化层，以h×w特征图F为输入，输出一个特征，然后用最近邻插值方法上采样到h×w，形成上下文特征F^l；最后，上下文信息I可由式(1)计算：

式中表示特征串联操作，Conv_1×1表示一个1×1卷积层；

22)细化共享分支特征图；RGB分支、热成像分支、计数图分支和共享分支的每层模块生成的特征图通过公式(1)转化为上下文信息，并将该上下文信息作为输入，输出细化的共享分支的特征图；

具体公式如下：

式中I_r、I_t、I_c、I_s是RGB分支、热成像分支、计数图分支、共享分支每层模块生成的特征图F_r、F_t、F_c、F_s通过公式(1)计算得出的上下文信息，为细化的共享分支特征图，I_r2s、I_t2s、I_c2s分别是I_r、I_t、I_c对I_s的残差信息，ω_r2s、ω_t2s、ω_c2s是由1×1卷积层输入对应的上下文信息I_r2s、I_t2s、I_c2s获得的权重参数，⊙是元素级乘法运算；

23)细化RGB分支、热成像分支和计数图分支的特征图；将细化的共享分支特征图通过公式(1)生成上下文特征再以为核心，对的RGB分支、热成像分支、计数图分支每层模块生成的特征图进行细化；具体公式如下：

式中I_s2r、I_s2t、I_s2c分别是细化的共享分支上下文信息对RGB分支、热成像分支、计数图分支每层模块的上下文信息I_r、I_t、I_c的残差信息，ω_s2r、ω_s2t、ω_s2c是由1×1卷积层输入对应的上下文信息I_s2r、I_s2t、I_s2c获得的权重参数，F_r、F_t、F_c分别是RGB分支、热成像分支、计数图分支每层模块生成的特征图，分别是对RGB分支、热成像分支、计数图分支每层模块生成的特征图细化后的特征图；

24)数据预处理；先计算出RGBT-CC数据集中RGB图、热成像图的均值和方差值，将其归一化；训练时采取随即采样法，采样256×256大小的区块；

25)网络训练；设置好数据集的路径后，就可以进行训练了；训练时仅训练跨模态的部分，对计数图生成模块固定；训练到20周期后，每过1次训练周期进行一次验证，当验证效果最佳时，记录该模型参数，并进行一次测试，得出测试集的评估结果；每训练一个周期都会记录模型参数、优化器参数、训练周期；

26)人群计数；该网络模型训练好后，就可以进行人群计数了；人群计数需要用到RGB图和热成像图，通过热成像图和LibraNet模型生成计数图；以RGB图、热成像图、计数图为输入，输出密度图；密度图作为一种二维数组，能反应计数结果。将密度图里的值进行求和，就能得到作为输入的RGB图像的总人数。

2.计数图辅助的跨模态人流监控系统，其特征在于：计数图生成模块、人群计数模块，其中：

计数图生成模块，计数图是对密度图一定区域的积分，能反应出图像的尺度变化。计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图。具体包括：

11)训练深度强化模型。选取RGBT-CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置。将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet。以{-10，-5，-2，-1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小，比如5就是该计数值加上5，-5表示该计数值减去5。

12)生成计数图。将训练好的LibraNet模型固定，输入RGBT-CC数据集中所有的热成像图来生成计数图。计数图中的每个值能反应对应热成像图像素区域的大致数量信息。

13)计数图优化。因为生成的计数图的长、宽只有原来的其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致。采用最近邻插值方式进行上采样，并在每个像素位置除以2^2*n，以使总的计数值不变并且图像大小与原图一致。

人群计数模块，该模块通过训练好的跨模态网络模型，输入RGB、热成像图和计数图作为三个模态，输出密度图。该模型有四个分支，分为三个输入分支和一个输出分支，三个输入分支分别输入RGB、热成像图和计数图；输出分支为共享分支，它初始化为0，接收并细化三个模态的信息，它的输出为密度图。除了共享分支外，其余分支均由VGG-19构成。由于VGG-19可分为5层模块，除了最后一层，每层模块最后都配备一个2×2的池化层，故三个输入分支均可分为5层模块。共享分支由去除前两层的VGG-19构成，可分为4层模块。通过RGBT-CC数据集进行训练。训练好模型之后，基于该模型进行人群计数。具体包括：

21)生成上下文信息I；将网络中每个分支每层模块生成的特征图F，用L级金字塔池化层来提取上下文信息I；具体地，对于第l层(l＝1，2，...，L)，采用一个2^l-1×2^l-1最大池化层，以h×w特征图F为输入，输出一个特征，然后用最近邻插值方法上采样到h×w，形成上下文特征F^l；最后，上下文信息I可由式(1)计算：

式中表示特征串联操作，Conv_1×1表示一个1×1卷积层；

22)细化共享分支特征图；RGB分支、热成像分支、计数图分支和共享分支的每层模块生成的特征图通过公式(1)转化为上下文信息，并将该上下文信息作为输入，输出细化的共享分支的特征图；

具体公式如下：

式中I_r、I_t、I_c、I_s是RGB分支、热成像分支、计数图分支、共享分支每层模块生成的特征图F_r、F_t、F_c、F_s通过公式(1)计算得出的上下文信息，为细化的共享分支特征图，I_r2s、I_t2s、I_c2s分别是I_r、I_t、I_c对I_s的残差信息，ω_r2s、ω_t2s、ω_c2s是由1×1卷积层输入对应的上下文信息I_r2s、I_t2s、I_c2s获得的权重参数，⊙是元素级乘法运算；

23)细化RGB分支、热成像分支和计数图分支的特征图；将细化的共享分支特征图通过公式(1)生成上下文特征再以为核心，对的RGB分支、热成像分支、计数图分支每层模块生成的特征图进行细化；具体公式如下：

式中I_s2r、I_s2t、I_s2c分别是细化的共享分支上下文信息对RGB分支、热成像分支、计数图分支每层模块的上下文信息I_r、I_t、I_c的残差信息，ω_s2r、ω_s2t、ω_s2c是由1×1卷积层输入对应的上下文信息I_s2r、I_s2t、I_s2c获得的权重参数，F_r、F_t、F_c分别是RGB分支、热成像分支、计数图分支每层模块生成的特征图，分别是对RGB分支、热成像分支、计数图分支每层模块生成的特征图细化后的特征图；

24)数据预处理；先计算出RGBT-CC数据集中RGB图、热成像图的均值和方差值，将其归一化；训练时采取随即采样法，采样256×256大小的区块；

25)网络训练；设置好数据集的路径后，就可以进行训练了；训练时仅训练跨模态的部分，对计数图生成模块固定；训练到20周期后，每过1次训练周期进行一次验证，当验证效果最佳时，记录该模型参数，并进行一次测试，得出测试集的评估结果；每训练一个周期都会记录模型参数、优化器参数、训练周期；

26)人群计数；该网络模型训练好后，就可以进行人群计数了；人群计数需要用到RGB图和热成像图，通过热成像图和LibraNet模型生成计数图；以RGB图、热成像图、计数图为输入，输出密度图；密度图作为一种二维数组，能反应计数结果。将密度图里的值进行求和，就能得到作为输入的RGB图像的总人数。