[发明专利]一种基于3D卷积网络的动作时序检测方法

权利要求书

1.一种基于3D卷积网络的动作时序检测方法，其特征在于：通过K-均值聚类提取动作发生显著变化的关键帧，利用3D卷积网络，提取动作特征；

再将3D卷积反卷积网络与时空特征金字塔结构融合，进行多尺度动作帧级别预测；

最后用卡尔曼滤波对预测结果进行融合，预测动作时序生成提案。

2.根据权利要求1所述基于3D卷积网络的动作时序检测方法，其特征在于：所述动作特征提取方法包括以下步骤：

1)将视频片段分为训练视频和测试视频，分别在训练阶段和测试阶段作为输入；

2)利用K-均值将视频中相似的运动帧进行聚类，并在每一聚类簇中选择一帧视频帧作为关键帧；

3)将得到的动作关键帧序列输入3D卷积网络，进行时空动作特征提取。

3.根据权利要求1所述基于3D卷积网络的动作时序检测方法，其特征在于：所述动作时序提案包括以下步骤：

①将经过动作特征提取得到的特征数据输入3D卷积反卷积网络，通过时间维度的上采样还原特征至原输入长度，满足帧级别的预测；

②利用时空金字塔的多尺度特性，对上述3D卷积反卷积网络的中间过程独立输出不同尺度的动作预测，实现对动作的整体预测；

③通过卡尔曼滤波对每个滑窗得到的特征进行时序滤波以提高相邻窗口间的预测动作的连续性，生成时序检测动作提案。