[发明专利]一种基于单帧监督的时序行为检测方法及系统

说明书

本发明涉及一种基于单帧监督的时序行为检测方法及系统，本发明构建了初始时序行为检测模型，该模型包括视频处理模块、分类融合模块和动作背景挖掘模块。该模型为一个循环‑依赖系统，其中动作背景挖掘模块首先根据分类融合模块的输出和标注帧挖掘动作和背景；然后挖掘到的动作和背景又作为监督信息反过来训练时序行为检测模型，使得时序行为检测模型的训练精度进一步提高，进而提高时序行为检测的精确度。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于单帧监督的时序行为检测方法及系统。

背景技术

时序行为检测是计算机视觉领域中的热点和难点，有着广阔的应用前景，比如视频监控、医疗保健系统、娱乐环境等。视频监控技术是动作识别最为突出、应用最为广泛的应用成果。在监控系统中人体动作识别的应用主要是自动跟踪和识别，比如，自动识别跟踪可疑对象，从而实现犯罪识别和可疑活动检测的功能。其次，动作识别在医疗保健系统的应用主要是日常生活活动的监控。在研究动作识别的过程中，人们开始注意起了时序行为检测。时序行为检测不仅要识别出动作的种类，还要定位动作在视频中出现的时间位置(开始位置和结束位置)。在现实应用中，真实视频数据往往是未剪辑过的包含多个动作或没有动作的长视频，典型的就是监控视频。所以，动作检测对以上各个领域中的实际应用来说，具有更重要的研究意义。

由于全监督方法在标注上不仅费时，而且存在很大的主观性，所以目前被广泛研究是弱监督时序动作检测。比起全监督方法需要同时标注视频中发生的动作实例的开始时间、结束时间和动作类别，弱监督方法只需要标注视频中存在的动作类别。当前的弱监督方法基本都是基于卷积神经网络对视频进行特征提取，然后利用多实例学习或者注意力机制得到类激活序列进行定位操作。但是，这种方法依赖于类激活序列，即认为分数高的片段更有可能是动作，从而导致假阳性的产生，定位精度随之下降。

发明内容

本发明的目的是提供一种基于单帧监督的时序行为检测方法及系统，能够提高时序行为检测的精确度。

为实现上述目的，本发明提供了如下方案：

一种基于单帧监督的时序行为检测方法，包括：

构建初始时序行为检测模型；所述时序行为检测模型包括：视频处理模块、分类融合模块和动作背景挖掘模块；

将训练视频输入所述视频处理模块中，提取所述训练视频中图像帧和光流帧的时空特征，得到时空特征集；并对所述训练视频进行单帧标注，得到标注帧；所述时空特征集包括图像时空特征和光流时空特征；所述标注帧包括实际的动作发生的一个时间戳和动作类别；

将所述时空特征集输入所述分类融合模块中进行snippet分类，并将分类结果进行融合，得到嵌入特征集、动作分数集、类激活序列集和注意力分数集；

将所述动作分数集、所述类激活序列集和所述标注帧输入所述动作背景挖掘模块中，得到所述输入视频中的动作区域和背景区域；

将所述标注帧作为监督信息，根据所述动作分数集、所述类激活序列集、所述注意力分数集和所述动作区域和所述背景区域对所述初始时序行为检测模型进行训练，得到第一时序动作检测模型；

将所述动作区域和所述背景区域作为监督信息，根据所述嵌入特征集、所述动作分数集、所述类激活序列集和所述注意力分数集对所述第一时序动作检测模型进行训练，得到第二时序动作检测模型；

将测试视频输入所述第二时序动作检测模型进行预测，得到预测的动作发生时间和动作类别。

优选地，所述视频处理模块的确定方法为：

获取Kinetics数据集和初始I3D模型；

根据所述Kinetics数据集对所述初始I3D模型进行训练，得到所述视频处理模块。