[发明专利]一种基于时空上下文信息的行人检测方法

说明书

技术领域

本发明涉及监控视频和智能交通领域中的一种行人检测方法，特别是一种基于视频的行人检测方法。

背景技术

上下文信息是不直接通过对象表观得到的一切信息，可作为一种有效的辅助方式来提升对象检测的性能。根据上下文信息提取时使用帧内或帧间信息，可将其分为空间上下文和时序上下文；根据上下文信息提取时是针对对象整体或图像特征，又可将上下文信息分为实例层和特征层。

基于上下文信息的检测方法核心在于如何提取充足且有效的上下文信息，以及如何同原有表观特征检测器合理的结合起来。现有的基于上下文信息进行行人检测的论文，多是针对单独一层或一种上下文信息，不能充分的利用视频信息中的信息，导致检测性能相对较差。

中国专利CN101894276A，公开日2010年11月24日，发明人秦磊等人，专利题目为“人体动作识别的训练方法和识别方法”提出了一种利用时空特征训练和识别人体动作识别的方法。该方法首先提取兴趣点构造视频单词，根据视频单词和某一满足时空约束的其他视频单词形成时空视频词组，对视频单词聚类得到单词团体等元素，进而构造人体动作识别分类器。该方法仅从特征层面刻画时空上下文信息且依赖于兴趣点的检测，并且应用范围为人体的动作识别。

中国专利CN101127122A，公开日2008年2月20日，发明人潘吉彦等人，专利题目为“一种内容自适应渐进式遮挡分析目标跟踪算法”中提出了利用时空上下文（Temporal-Spatial Context或Spatio-Temporal Context）信息对感兴趣区域遮挡情况进行初步分析。该方法通过对感兴趣区域中的图像块进行后向运动估计，以观察该图像块在上一帧中是否处于非目标区域，从而根据遮挡情况先验已知的第一帧信息判断当前帧该图像块是否存在遮挡。该方法单纯利用图像块的后向预测和图像块本身的空间信息，所以得到的时空上下文信息很有限，且该方法仅被作为跟踪算法的预处理步骤。

文献“Integrating Spatio-Temporal Context with Multiview Representation for Object Recognition in Visual Surveillance”中提出了一种利用时空上下文信息进行监控场景下对象检测的方法，该方法提出了像素层和实例层的双层时空上下文方法，其中像素层即通过对前景像素点进行跟踪的方式得到时序上下文信息，其实例层的空间上下文单纯通过对场景建模估计出人体的可能尺寸，时序上下文则利用跟踪算法对连续帧的检测框进行跟踪得到。该方法没有结合立体视觉信息以及未在特征层面对时空上下文进行刻画，时空信息提取较为粗糙，且该方法依赖于前景提取，不适用于车载应用场景。

发明内容

本发明的目的在于提供一种基于上下文信息的行人检测方法。基于本发明，可以很好的实现自动提取视频中的双层上下文信息，适用于监控和车载等场景下的行人检测。

根据本发明的上述发明目的之一，其中提供一种基于双层时空上下文信息的行人检测方法，包括步骤：

采集步骤，采集图像视频；

输入步骤，将所采集的图像视频输入；

尺寸估计步骤，对于输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；

时空上下文信息提取步骤，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；

表观特征提取步骤，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；

分析处理步骤，在此基础上利用事先构建的双层时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；

显示步骤，将上述结果返回并显示。

根据本发明进一步的发明目的，其中所述尺寸估计步骤中利用摄像机参数估计地面位置，通过对地面按照深度分层的方式结合人体身高的先验知识构造感兴趣区域。

根据本发明进一步的发明目的，其中同时在特征层和实例层两个层面提取时空上下文信息。

根据本发明进一步的发明目的，其中首先利用表观特征构造基础行人检测器，之后利用时空上下文信息模型将其与双层时空上下文信息结合起来。

根据本发明进一步的发明目的，其中对地面位置沿深度方向分为多个层次，在每一层上将人体身高的最大值和最小值作为世界坐标系下的y值，利用摄像机的内外参数构造单应性映射，得到在图像中对象的尺寸范围，生成感兴趣区域。