[发明专利]一种基于3D卷积网络的动作时序检测方法

说明书

本发明涉及一种基于3D卷积网络的动作时序检测方法，通过K‑均值聚类提取动作发生显著变化的关键帧，利用3D卷积网络提取动作特征，再将3D卷积反卷积网络与时空特征金字塔结构融合实现多尺度动作帧级别预测，再用卡尔曼滤波对预测结果进行融合以达到预测动作时序的目的。本发明方法对发生在任意位置且具有任意时长的动作进行帧级别的预测，达到了实时性的效果；通过K‑均值聚类最大化动作关键帧之间的信息差异，使3D卷积网络能更为有效地提取到丰富的动作特征信息，提高了分类准确率；3D卷积反卷积网络和时空特征金字塔网络的多尺度融合方案，克服了单一尺度下预测精度不高的问题，预测结果兼具动作整体和动作细节信息，检测精度得到了显著提升。

技术领域

本发明涉及视频图像中人体动作特征提取和分类预测技术领域，具体涉及一种基于3D卷积网络的动作时序检测方法。

背景技术

随着视觉传感器的采集能力和计算机图形图像处理能力的飞速发展，使得计算机通过视觉传感器采集图像视频信息，通过图像处理、模式识别、机器学习等人工智能技术分析图像内容、理解图像中人体动作行为成为可能。要实现从大规模视频数据中分析和理解动作行为，需要有效的人体动作时序检测技术。动作时序检测指的是在一段原始视频中检索出若干动作片段，预测动作发生的起止时间和动作类别的视频处理方法。它是计算机针对视频图像中的人体动作进行智能检测和分类识别的技术，需要同时处理视频数据中的二维图像信息和三维时空信息，在安全监控、智能监护、医疗保健、视频检索、人机交互和智能机器人等领域都具有重要的应用价值。

动作时序检测包括动作特征提取和动作时序提案两个阶段，现有方法不仅严重依赖于对动作的理解和识别的能力，而且由于视频数据结构复杂、目标动作持续时间长度不一，使得时序提案方法存在着对目标动作时序区域检测困难等问题。需要解决大规模视频数据中动作特征的有效提取问题，以及满足帧级别边界判断的高精度时序检测问题。

发明内容

本发明提出了一种基于3D卷积网络的动作时序检测方法，用于对视频图像中人体动作进行特征提取和分类识别预测。本发明方法是实现安全监控、智能监护、人机交互和智能机器人等技术的基础。

为达到上述发明创造目的，本发明采用如下发明构思：

针对任意不限时长的视频检测动作发生的时序信息并判断动作的类别，设计一种基于关键帧的动作提取方法，结合3D卷积网络和时空特征金字塔结构进行多尺度的融合，生成对整体动作及其细节的预测。

首先通过K-均值聚类提取动作发生显著变化的关键帧，利用3D卷积网络提取动作特征，再将3D卷积反卷积网络与时空特征金字塔结构融合实现多尺度动作帧级别预测；然后用卡尔曼滤波对预测结果进行融合，以达到预测动作时序的目的。

根据上述发明构思，本发明采用如下技术方案：

一种基于3D卷积网络的动作时序检测方法，其特征在于：通过K-均值聚类提取动作发生显著变化的关键帧，利用3D卷积网络，提取动作特征；

再将3D卷积反卷积网络与时空特征金字塔结构融合，进行多尺度动作帧级别预测；

最后用卡尔曼滤波对预测结果进行融合，预测动作时序生成提案。

优选地，所述动作特征提取方法包括以下步骤：

1)将视频片段分为训练视频和测试视频，分别在训练阶段和测试阶段作为输入；

2)利用K-均值将视频中相似的运动帧进行聚类，并在每一聚类簇中选择一帧视频帧作为关键帧；

3)将得到的动作关键帧序列输入3D卷积网络，进行时空动作特征提取。

优选地，所述动作时序提案包括以下步骤：

①将经过动作特征提取得到的特征数据输入3D卷积反卷积网络，通过时间维度的上采样还原特征至原输入长度，满足帧级别的预测；