[发明专利]一种基于深度学习的行人徘徊滞留检测方法、系统及介质

权利要求书

1.一种基于深度学习的行人徘徊滞留检测方法，其特征在于：所述方法包括：

行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；

行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；

跟踪模块采用跟踪算法区分图像帧中不同的行人目标；

重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；

重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；

徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警；

所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人；

重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：

将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征，即得出该行人步态的细微特征；融合所述整体特征和所述细微特征，并将特征融合结果作为该行人的步态特征；

采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相似度值，若所述相似度值高于相似度阈值，则校验结果为真，否则为假。

2.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述行人检测模块所采用的深度学习模型为YOLOv5。

3.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述跟踪模块采用跟踪算法为匈牙利匹配算法。

4.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，包括：

先使用卷积网络提取后续图像帧中多帧图像帧中的单个行人的外貌特征，将其分别输入第一分支网络和第二分支网络；第一个分支网络融合多帧所述外貌特征为一个第一初始融合特征，第二分支网络先纵向将每一帧的所述外貌特征切分，然后把每一帧的切分后的特征块作为图网络的一个节点，使用图卷积网络融合各块特征得到第二初始融合特征；融合所述第一初始融合特征和所述第二初始融合特征，将特征融合结果作为该行人的行人特征。

5.根据权利要求4所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：

其中，表示融合后的行人特征矩阵，表示第一初始融合特征矩阵，表示第一初始融合特征矩阵的权重；表示第二初始融合特征矩阵，表示第二初始融合矩阵的权重；分别表示行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵，分别表示头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵的权重。