[发明专利]一种基于多任务的篮球视频事件与目标在线检测方法

权利要求书

1.一种基于多任务的篮球视频事件与目标在线检测方法，其特征在于，包括如下步骤：

S1：基于多尺度的特征归纳和表达的神经网络构建：

骨干网络层为Resnet网络，在骨干网络层中添加时域置换模块；所述时域置换模块添加在Resnet网络中每个残差结构的非旁路的卷积前，在当前时刻将特征图中前通道替换为上一时刻缓存中存储的值，并将当前帧在网络特征图的前通道更新到缓存中，其中m＞1；

将网络的conv3_x层、conv4_x层、conv5_x层的输出作为特征金字塔网络的输入，得到五个不同尺度的时空特征F3-F7；

将最低分辨率的两层特征图F6、F7输入事件检测头，事件检测头分为两路，均经过4层卷积层和全局平均池化层，一路输出规模为1×1_e，C_r为事件种类数；另一路再分为两子路，一子路输出规模为1×1×2的事件开始和结束时间偏移，另一子路输出规模为1×1×1的事件高潮打分值；

将不同尺度大小的特征图F3-F7输入目标检测头，目标检测头分为两路，均经过4层卷积层，一路输出规模为H×W_o，C_o为目标种类数；另一路再分为两子路，一子路输出规模为H×W×4的回归框坐标，另一子路输出规模为H×W×1的目标中心打分值，HW为前层输出的特征图分辨率；

S2：神经网络训练：

目标检测损失包括分类损失、回归损失和半监督中心偏移损失，将这些损失依特定权重相加，得到总目标检测损失；

事件检测损失包括分类损失、回归损失和半监督高潮偏移损失，将这两种损失依特定权重相加，得到总事件检测损失；

对目标检测损失和事件检测损失进行单独计算，将各自任务的损失分别反向传播到对应的分支，加快各自任务分支学习速度；将两种任务得到的损失依特定权重相加，得到基于多任务的混合损失函数并同时反向传播，使得底层骨干网络学习到混合两种任务的潜在特征归纳方式；使用梯度下降最小化基于多任务的混合损失函数以求得最佳的网络模型参数；

S3：推理及结果处理：

使用训练好的神经网络通过多分支前向传播得到目标检测和事件检测结果；

对网络目标检测部分的输出，将目标分类得分与目标中心打分值相乘以抑制大量偏离中心的低质量回归框，得到最终的目标分类得分值，将最终得分值最高的分类作为该目标的分类；

对网络事件检测部分的输出，将事件分类得分与事件高潮打分值相乘以抑制大量偏离事件高潮的低质量回归段，得到最终的事件分类得分值，将最终得分值最高的分类作为当前帧对应的事件分类。

2.根据权利要求1所述的一种基于多任务的篮球视频事件与目标在线检测方法，其特征在于，添加时域置换模块后，第j层在时刻t的特征图计算公式为：

其中：F_i,t为第i层输出的时刻t的特征图，F_i,t-n为第i层输出的t-n时刻的特征图，f_conv为残差结构运算，f_concat为通道维度上的拼接操作，F_j,t为第j层得到的时刻t的输出，j为i后一层残差块的输入；

第j层在时刻t-n的特征图计算公式为：

其中：F_i,t-n为第i层输出的时刻t-n的特征图，F_i,t-2n为第i层输出的t-2n时刻的特征图，F_j,t-n为第j层得到的时刻t-n的输出；

在网络结构上展开，可得第k层输出的时刻t的特征图含有多个时间步幅信息，k为j后一层残差块的输入，第k层输出的时刻t的特征图计算方式为：

3.根据权利要求1所述的一种基于多任务的篮球视频事件与目标在线检测方法，其特征在于，所述得到五个不同尺度的时空特征F3-F7的过程具体为：

将Resnet网络的conv3_x层、conv4_x层、conv5_x层记为C3、C4、C5，分别对C3、C4、C5层进行卷积操作得到C3′、C4′、C5′，对C5′进行两次下采样，分别得到F6和F7，将C5′直接输出作为F5，将C5′上采样后与C4′相加，得到F4，将F4上采样后与C3′相加，得到F3，F3-F7构成金字塔特征图结构。