[发明专利]一种视频内容的分类方法及装置

权利要求书

1.一种视频内容的分类方法，其特征在于，包括：

获取多帧视频图像；

基于所述多帧视频图像，将所述多帧视频图像输入图像分类子网络中，所述图像分类子网络包含多个第一特征提取层，其中，每个第一特征提取层分别用于实现以下操作：

若所述第一特征提取层位于所述图像分类子网络的首位，则将所述多帧视频图像输入所述第一特征提取层进行特征提取，获得候选图像特征集合，并基于所述候选图像特征集合获得对应的目标动态特征；

若所述第一特征提取层未位于所述图像分类子网络的首位和末位，则将上一个第一特征提取层输出的候选图像特征集合输入所述第一特征提取层进行特征提取，获得新的候选图像特征集合，并基于所述新的候选图像特征集合获得对应的目标动态特征，其中，一个候选图像特征集合包含所述多帧视频图像各自对应的候选图像特征，同一候选图像特征集合中的各个候选图像特征的尺度相同，每个候选图像特征集合之间的尺度不同，一个目标动态特征是基于同一尺度的候选图像特征集合确定的，每经过一次特征提取，等比例缩小获得的所述新的候选图像特征集合的尺度；

基于最小尺度的候选图像特征集合，确定对应的第一目标图像特征，并基于所述第一目标图像特征和多个目标动态特征，确定所述多帧视频图像所包含的视频内容的类别。

2.如权利要求1所述的方法，其特征在于，所述获取多帧视频图像，包括：

按照设定周期多次截取视频图像，获取所述多帧视频图像；其中，每截取一帧视频图像，将所述一帧视频图像添加到预设队列的队尾中。

3.如权利要求2所述的方法，其特征在于，所述每截取一帧视频图像，将所述一帧视频图像添加到预设队列的队尾之后，还包括：

若所述队列中存储的帧数大于设定帧数，则删除位于所述队列的队首的视频图像。

4.如权利要求3所述的方法，其特征在于，所述设定帧数为最小设定帧数的倍数。

5.如权利要求1所述的方法，其特征在于，所述基于所述候选图像特征集合，获得对应的目标动态特征，包括：

将所述候选图像特征集合输入动态检测子网络的时域融合模块中，通过以下方式获得与所述候选图像特征集合尺度相同的所述目标动态特征，其中，所述时域融合模块包含多个特征提取层和多个池化层：

将所述候选图像特征集合输入第二特征提取层进行特征提取，获得第一候选动态特征集合；

将所述第一候选动态特征集合输入第一池化层进行池化处理，获得第二候选动态特征集合；

将所述第二候选动态特征集合输入第三特征提取层进行特征提取，获得第三候选动态特征集合；

将所述第三候选动态特征集合输入第二池化层进行池化处理，获得第四候选动态特征集合；

基于所述第一候选动态特征集合、所述第二候选动态特征集合和所述第四候选动态特征集合，生成所述目标动态特征。

6.如权利要求5所述的方法，其特征在于，所述基于所述第一候选动态特征集合、所述第二候选动态特征集合和所述第四候选动态特征集合，生成所述目标动态特征，包括：

将所述第一候选动态特征集合、所述第二候选动态特征集合和所述第四候选动态特征集合进行拼接，获得第五候选动态特征集合；

将所述第五候选动态特征集合输入第三池化层进行池化处理，生成所述目标动态特征。

7.如权利要求1所述的方法，其特征在于，所述基于最小尺度的候选图像特征集合，确定对应的第一目标图像特征，包括：

将所述最小尺度的候选图像特征集合输入所述图像分类子网络的第四池化层进行池化处理，获得所述第一目标图像特征。

8.如权利要求1所述的方法，其特征在于，所述基于所述第一目标图像特征和所述多个目标动态特征，确定所述多帧视频图像所包含的视频内容的类别，包括：

将所述第一目标图像特征和所述多个目标动态特征进行拼接，获得分类特征；

将所述分类特征输入所述图像分类子网络的全连接层中，获得所述多帧视频图像所包含的视频内容的类别。