[发明专利]一种基于单帧监督的时序行为检测方法及系统

权利要求书

1.一种基于单帧监督的时序行为检测方法，其特征在于，包括：

构建初始时序行为检测模型；所述时序行为检测模型包括：视频处理模块、分类融合模块和动作背景挖掘模块；

将训练视频输入所述视频处理模块中，提取所述训练视频中图像帧和光流帧的时空特征，得到时空特征集；并对所述训练视频进行单帧标注，得到标注帧；所述时空特征集包括图像时空特征和光流时空特征；所述标注帧包括实际的动作发生的一个时间戳和动作类别；

将所述时空特征集输入所述分类融合模块中进行snippet分类，并将分类结果进行融合，得到嵌入特征集、动作分数集、类激活序列集和注意力分数集；

将所述动作分数集、所述类激活序列集和所述标注帧输入所述动作背景挖掘模块中，得到输入视频中的动作区域和背景区域；

将所述标注帧作为监督信息，根据所述动作分数集、所述类激活序列集、所述注意力分数集和所述动作区域和所述背景区域对所述初始时序行为检测模型进行训练，得到第一时序动作检测模型；

将所述动作区域和所述背景区域作为监督信息，根据所述嵌入特征集、所述动作分数集、所述类激活序列集和所述注意力分数集对所述第一时序动作检测模型进行训练，得到第二时序动作检测模型；

将测试视频输入所述第二时序动作检测模型进行预测，得到预测的动作发生时间和动作类别；

将所述时空特征集输入所述分类融合模块中进行snippet分类，并将分类结果进行融合，得到嵌入特征集、动作分数集、类激活序列集、注意力分数集，包括：

将所述图像时空特征和所述光流时空特征分别输入到所述分类融合模块中的特征嵌入子模块中进行提取，得到图像嵌入特征和光流嵌入特征；

将所述图像时空特征和所述光流时空特征分别输入到所述分类融合模块中的类无关分类子模块中进行提取，得到图像动作分数和光流动作分数；

将所述图像时空特征和所述光流时空特征分别输入到所述分类融合模块中的类相关分类子模块中进行提取，得到图像类激活序列和光流类激活序列；

将所述图像时空特征和所述光流时空特征分别输入到所述分类融合模块中的注意力子模块中进行提取，得到图像注意力分数和光流注意力分数；

将所述图像嵌入特征和所述光流嵌入特征输入到所述分类融合模块中的双流融合子模块中进行融合，得到融合嵌入特征；

将所述图像动作分数和所述光流动作分数输入到所述双流融合子模块中进行融合，得到融合动作分数；

将所述图像类激活序列和所述光流类激活序列输入到所述双流融合子模块中进行融合，得到融合类激活序列；

将所述图像注意力分数和所述光流注意力分数输入到所述双流融合子模块中进行融合，得到融合注意力分数；

所述嵌入特征集包括所述图像嵌入特征、所述光流嵌入特征和所述融合嵌入特征；所述动作分数集包括所述图像动作分数、所述光流动作分数和所述融合动作分数；所述类激活序列集包括所述图像类激活序列、所述光流类激活序列和所述融合类激活序列；所述注意力分数集包括所述图像注意力分数、所述光流注意力分数和所述融合注意力分数。

2.根据权利要求1所述的基于单帧监督的时序行为检测方法，其特征在于，所述视频处理模块的确定方法为：

获取Kinetics数据集和初始I3D模型；

根据所述Kinetics数据集对所述初始I3D模型进行训练，得到所述视频处理模块。