[发明专利]时序边界检测方法及时序感知器

权利要求书

1.时序边界检测方法，其特征是构建一个无类别时序边界检测网络对视频进行时序边界检测，检测网络包括骨干网络和检测模型，实现方式如下：

1)由骨干网络生成检测样例：对视频间隔采样得到视频图像序列以每一帧生成一个视频段，第i段视频段为由第i帧图像f_i的前后连续k帧组成的图像序列，由骨干网络对输入的视频段生成视频特征和连续性打分F_i和S_i分别为视频段i的RGB特征和连续性打分；

2)由检测模型基于视频特征F和连续性打分S进行无类别时序动作检测，所述检测模型包括如下配置：

2.1)编码器：编码器E包括N_e层串联的变换解码层，每层包含一个多头自注意力层、一个多头交叉注意力层和一个线性映射层，自注意力层、交叉注意力层及线性映射层分别带有一个残差结构，对编码器引入M个隐特征查询量Q_e，基于连续性打分S对视频特征F进行降序排序后输入编码器，编码器将排序后的视频特征压缩为M帧的压缩特征H，初始压缩特征H₀为0，在第j层变换解码层，隐特征查询量Q_e与当层的压缩特征H_j相加，经过自注意力层及其残差结构，在交叉注意力层和重排序的视频特征交互，再经过残差结构-线性映射层-残差结构变换后得到压缩特征H_j+1，j∈[0,(N_e-1)]，通过堆叠的N_e个编码层后，实现输入特征的压缩和编码，得到压缩特征

其中，隐特征查询量的生成为：隐特征查询量Q_e被分为M_b个边界查询量和M_c个上下文查询量，随机初始化，在训练检测模型的过程随训练样本学习生成；边界查询量对应处理视频特征中的边界区域特征，上下文查询量对应处理视频特征中的上下文区域特征，视频特征中重排序后前M_b个特征为边界区域特征，其他为上下文特征；

2.2)解码器：解码器D包括N_d层串联的解码层，每层包含一个多头自注意力层、一个多头交叉注意力层和一个线性映射层，自注意力层、交叉注意力层及线性映射层分别带有一个残差结构；对于编码器获得的压缩特征H，解码器通过变换解码器结构进行时序边界点解析，解码器定义N_p个提名查询量Q_d，提名查询量Q_d与隐特征查询量一样，随机初始化后再训练中学习生成，并初始化边界提名B₀为0，,在第j层，提名查询量Q_d与边界提名B_j相加，经过自注意力层和一次残差结构，在交叉注意力层和压缩特征H交互，经过残差结构-线性映射层-残差结构变换后得到更新后的边界提名B_j+1；通过堆叠的N_d个解码层后，实现压缩特征的解析，得到时序边界提名表示

2.3)时序无类别边界的生成与打分：对于获得的时序边界提名表示B，送入两个不同的全连接层分支：定位分支和分类分支，两个分支分别用于输出时序无类别边界的时刻和置信度分数；

2.4)分配训练标签：采用严格的一对一训练标签匹配策略：根据定义的匹配代价C，利用匈牙利算法得到一组最优的一对一匹配，每个被分配到一个无类别边界真值的预测都获得正样本标签，其对应的边界真值为训练目标；匹配代价C由位置代价和分类代价两部分组成，位置代价基于预测时刻和边界真值时刻的距离绝对值定义，分类代价基于预测置信度定义；

2.5)时序无类别边界的提交：生成一系列的时序无类别边界后，通过置信度分数阈值γ筛选出最可信的时序无类别边界时刻，提交以进行后续性能度量；

3)训练阶段：对配置的模型采用训练样例进行训练，使用交叉熵、L1距离和log函数作为损失函数，使用AdamW优化器，通过反向传播算法来更新网络参数，不断重复步骤1)和步骤2)，直至达到迭代次数；

4)检测：将待测试数据的视频特征序列和连续性打分输入到训练完成的检测模型中，生成时序无类别边界时刻及打分，再通过2.3)的方法，得到用于性能度量的时序无类别边界时刻序列。