[发明专利]基于梯度边界图和多模卷积融合的动作识别方法及系统

摘要

本发明公开了一种基于梯度边界图和多模卷积融合的动作识别方法及系统，包括步骤：S1基于原始视频构造连续帧集；S2计算连续帧集中相邻两帧图像间的梯度边界值，从而获得梯度边界图集；S3计算连续帧集中相邻两帧图像间的帧间光流，从而获得光流图集；S4以原始视频的代表帧、梯度边界图集和光流图集为输入，采用卷积神经网络获得原始视频的多模CNN特征；S5融合原始视频的多模CNN特征，得到融合特征；S6基于融合特征，采用动作分类算法进行动作识别。本发明增加了梯度边界图这一重要的动作时空信息，并提出了多模数据卷积融合方法，保证了多模时空特征融合的一致性，提升了视频中人体动作特征描述精确性，提高了人体动作识别率。

主权项

1.基于梯度边界图和多模卷积融合的动作识别方法，其特征是，包括步骤：S1对原始视频进行采样，获取代表帧fp，从原始视频中取fp、fp的前s帧图像和fp的后s帧图像构成连续帧集Sp＝[fp‑s,…,fp,…,fp+s]；s为经验值，其取值范围为5～10；所述的原始视频为原始视频训练样本或待识别原始视频；S2计算S_p中相邻两帧图像间的梯度边界值得到梯度边界矩阵，根据梯度边界矩阵获得梯度边界图集；所述的梯度边界矩阵P_t^x和P_t^y分别表示f_t和其后续相邻的帧图像f_t+1间分别在图像横向方向和图像纵向方向的梯度边界矩阵，t＝p‑s,p‑s+1,...,p+s‑1；Ptx由元素Ptx(u,v)构成，Ptx(u,v)＝[ft+1(u+1,v)‑ft+1(u,v)]‑[ft(u+1,v)‑ft(u,v)]，其中，(u,v)表示像素坐标；Ptx(u,v)表示ft中像素(u,v)在图像横向方向的梯度边界值；ft+1(u+1,v)表示ft+1中像素(u+1,v)的灰度值；ft+1(u,v)表示ft+1中像素(u,v)的灰度值；ft(u+1,v)表示ft中像素(u+1,v)的灰度值；ft(u,v)表示ft中像素(u,v)的灰度值；Pty由元素Pty(u,v)构成，Pty(u,v)＝[ft+1(u,v+1)‑ft+1(u,v)]‑[ft(u,v+1)‑ft(u,v)]，其中，(u,v)表示像素坐标；Pty(u,v)表示ft中像素(u,v)在图像纵向方向的梯度边界值；ft+1(u,v+1)表示ft+1中像素(u,v+1)的灰度值；ft+1(u,v)表示ft+1中像素(u,v)的灰度值；ft(u,v+1)表示ft中像素(u,v+1)的灰度值；ft(u,v)表示ft中像素(u,v)的灰度值；S3计算连续帧集S_p中相邻两帧图像间的帧间光流，从而获得光流图集；所述的光流图集of_t^x和of_t^y表示f_t和f_t+1分别在图像横向方向和图像纵向方向的帧间光流，t＝p‑s,p‑s+1,...,p+s‑1；S4采用各原始视频训练样本的代表帧、梯度边界图集和光流图集训练卷积神经网络；以各原始视频训练样本和待识别原始视频的代表帧、梯度边界图集和光流图集为输入，采用训练后的卷积神经网络获得各原始视频训练样本和待识别原始视频的代表帧CNN特征Crgb、梯度边界CNN特征Cgbf和光流CNN特征Cof；S5采用各原始视频训练样本的Crgb、Cgbf和Cof训练融合公式Cfusion＝ycat*k+b中参数k和b，其中，k为卷积核参数；b为偏置参数；ycat＝[Cgbf,Crgb，Cof]；采用训练后的融合公式融合待识别原始视频的Crgb、Cgbf和Cof，得到融合特征Cfusion；S6基于融合特征Cfusion，采用动作分类算法进行动作识别。