[发明专利]渐进式特权信息蒸馏的在线动作检测方法和系统

说明书

本发明提供了一种渐进式特权信息蒸馏的在线动作检测方法及系统，包括：步骤S1：对未经裁剪的视频使用视频特征提取网络进行特征提取，得到能够表达视频语义信息的视频特征序列；步骤S2：截取当前时刻之后不同时长的视频，并利用相应的视频特征序列分别对多个不同的离线教师模型进行训练；步骤S3：利用提取的视频特征序列对在线学生模型进行训练，得到训练后的在线学生模型；步骤S4：将离线教师模型和在线学生模型在模型层面的不同层次间进行特征对齐；步骤S5：特征对齐后，在线学生模型通过渐进式模型蒸馏的方式向多个不同的离线教师模型学习；步骤S6：利用提取的视频特征序列根据蒸馏学习后的的在线学生模型预测当前时刻动作检测的结果。

技术领域

本发明涉及计算机视觉和图像处理技术领域，具体地，涉及渐进式特权信息蒸馏的在线动作检测方法和系统。

背景技术

随着传输，存储等技术的发展，视频成为了信息传递的重要载体，每天都有数以亿计的视频产生。而在线动作检测任务，即实时地从视频中定位出动作发生的时间位置，有着广泛的应用价值，如实时视频监控和自动驾驶等。随着深度学习的发展，在线动作检测的方法可分为如下几种。

其一为使用递归神经网络模型来建模视频序列，从而输出对当前时刻动作的判断。具体地，首先对视频数据进行特征提取得到视频特征序列，其次使用递归神经网络模型，如LSTM或GRU等，对视频特征序列进行建模，使其在每一时刻输出对当前时刻动作预测的判断。由于在线视频在时间尺度上是单向的，递归神经网络模型往往也采用单向的结构。所以其缺点是，对当前时刻动作的判断只利用了当前时刻以及之前的视频帧。除用递归神经网络建模在线视频外，另一种方法则对当前时刻之后的视频进行预测，从而根据预测的结果，以及观测到的视频数据一起对当前时刻的动作进行判断，这类方法则建模了当前时刻以及之后可能发生事情的隐含关系，从而提升在线动作检测模型的性能。

专利文献CN111050116A(申请号：201910872679.6)公开了一种利用时间递归网络进行在线动作检测的系统和方法。该方法获取当前时刻图像数据以及过去图像帧，使用递归神经网络建模数据，输出当前图像帧期间至少一个目标导向型动作。该方法只建模利用了当前时刻以及之前的图像内容之间的关系来进行在线动作检测，其忽略了之后可能发生事情之间的隐含信息，而这种隐含的信息对在线动作检测有着很大的帮助，例如人类在驾驶中做判断决策时往往会预测之后可能发生的事情。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种渐进式特权信息蒸馏的在线动作检测方法及系统。

根据本发明提供的一种渐进式特权信息蒸馏的在线动作检测方法，包括：

步骤S1：对未经裁剪的视频使用视频特征提取网络进行特征提取，得到能够表达视频语义信息的视频特征序列；

步骤S2：截取当前时刻之后不同时长的视频，并利用相应的视频特征序列分别对多个不同的离线教师模型进行训练；

步骤S3：利用提取的视频特征序列对在线学生模型进行训练，得到训练后的在线学生模型；

步骤S4：将训练后的离线教师模型和训练后的在线学生模型在模型层面的不同层次间进行特征对齐；

步骤S5：特征对齐后，在线学生模型通过渐进式模型蒸馏的方式分别向多个不同的离线教师模型学习；

步骤S6：利用提取的视频特征序列根据蒸馏学习后的的在线学生模型预测当前时刻动作检测的结果。

优选地，所述视频特征提取网络采用：利用两支3D卷积神经网络分别提取视频片段的RGB和光流特征，并将提取的RGB和光流特征进行拼接；

所述3D卷积神经网络能够在视频时间方向上连续的对每一个视频片段提取特征，从而得到视频的特征序列。

优选地，所述离线教师模型采用：