[发明专利]基于时间尺度不变性的视频中人体动作识别方法及系统

摘要

本发明公开了一种基于时间尺度不变性的视频中人体动作识别方法及系统，包括步骤：S1基于原始视频构造子动作视频段；S2分别获取各子动作视频段的代表帧；S3获得各代表帧的光流强度图像集；S4分别获得各代表帧的图像卷积特征和光流卷积特征；S5分别融合各代表帧的图像卷积特征和光流卷积特征，获得融合特征，所有融合特征构成子动作特征集；S6采用LSTM神经网络对子动作特征集中各融合特征分别进行动作识别，获得多阶段的动作识别结果；S7融合多阶段的动作识别结果，得最终的动作识别结果。本发明对视频中持续时长变化差异很大的动作具有很好的适应性，可提升视频中人体动作特征描述的精确性和人体动作识别率。

主权项

1.基于时间尺度不变性的视频中人体动作识别方法，其特征是，包括：S1利用子动作聚类法将原始视频拆分为多个视频子段，基于视频子段构造子动作视频段，所述的原始视频为原始视频训练样本或待测试原始视频；S2分别获取各子动作视频段的代表帧，得代表帧集；所述代表帧的采样位置Loc(spα)为： 其中，Loc(s_pα)表示第p段子动作视频段S'_p的代表帧s_pα的采样位置；k_p‑1表示S'_p‑1中最后一帧图像在原始视频序列中的序号；k_p表示S'_p中最后一帧图像在原始视频序列中的序号；k₀＝0，k_a＝n；表示下取整；α为步长参数，0＜α≤2；S3在代表帧所对应的子动作视频段中，基于代表帧及其相邻帧图像计算帧间光流，获得各代表帧的光流强度图像集；S4采用各原始视频训练样本的代表帧集以及光流强度图像集训练卷积神经网络；以各原始视频训练样本和待测试原始视频的代表帧集以及光流强度图像集为输入，采用训练后的卷积神经网络分别提取出各原始视频训练样本和待测试原始视频中各代表帧的图像卷积特征和光流卷积特征；S5对各原始视频训练样本和待测试原始视频分别执行：分别融合各代表帧的图像卷积特征和光流卷积特征，获得融合特征，所有融合特征构成子动作特征集；S6采用各原始视频训练样本的子动作特征集训练LSTM神经网络，采用训练后的LSTM神经网络对待测试原始视频的子动作特征集中各融合特征分别进行动作识别，获得多阶段的动作识别结果R＝[L1,…,Lp,…La]，Lp表示第p个子动作视频段S'p的动作识别结果；S7融合多阶段的动作识别结果，得最终的动作识别结果