[发明专利]一种C3D改进方法及机加车间人体行为识别方法

说明书

本发明提供了一种C3D改进方法及机加车间人体行为识别方法。所述C3D改进方法：借鉴ACTION‑Net算法中通道激励模块CE，并对CE进行改进，得到改进后的通道激励模块ICE，利用ICE激励和感知C3D卷积网络提取特征的通道信息；将ICE嵌入C3D卷积网络，得到改进C3D后的卷积网络IC3D，将IC3D用于机加车间人体行为识别；所述机加车间人体行为识别方法：利用IC3D提取机加车间人体视频段数据的时间特征和空间特征，改变提取特征的维数，并输入到全连接层，根据全连接层的输出实现行为识别。本发明的有益效果为：在保持C3D行为识别精度条件下，降低IC3D网络训练迭代次数。

技术领域

本发明涉及人工智能领域，具体来讲，从视频数据中识别人体行为。

背景技术

基于传统机器学习的行为识别技术通常需要手工提取特征，应用领域受到极大限制。在基于深度学习的行为识别领域，用卷积网络提取视频数据的时间特征和空间特征，将视频数据输入网络模型，通过卷积运算自动提取视频数据的时间特征和空间特征，较传统方法而言，卷积网络显著提升了视频数据的特征提取效率，同时也降低了视频数据的特征提取难度。使得基于深度学习的行为识别方法逐渐取代了基于传统机器学习的行为识别技术。现有C3D卷积网络仅由卷积层、池化层、激活函数和全连接层组成，未对提取特征进行激励和感知，导致收敛慢、训练难度时间长。因此，有必要对C3D卷积网络进行改进，以降低训练时间。

发明内容

本发明的主要目的在于改进ACTION-Net的通道激励模块CE，将改进后的通道激励模块ICE嵌入C3D卷积网络中，以实现对C3D卷积网络改进。改进后得到的C3D卷积网络IC3D，提升了C3D卷积网络的训练收敛速度、降低训练时间。通道表示图像的颜色通道，彩色图像的颜色通道数为3，灰度图的颜色通道为1，所述通道是图像的颜色通道，彩色图像的通道数为3，灰度图的颜色通道为1。激励是对通道卷积运算增加图像的通道数，以提取图像的多通道特征，特征提取的输出图像称为特征图。通道卷积运算增加图像的通道数，是通道经卷积运算后，其特征图通道数为2的n次幂，n为卷积核数量，当n=5时，经过卷积运算得到的特征图通道数为2⁵=32，n=6时，经过卷积运算得到的特征图通道数为2⁶=64，n=10时，经过卷积运算得到的特征图通道数为2¹⁰=1024，改进后的通道激励模块ICE网络结构如图1所示。

图1中，Input为输入特征图，其shape为（N,T,C,H,W），其中N表示输入数据的个数，T表示从单个数据中抽出的视频帧数，C表示图像颜色通道，H表示视频帧图像的高，W表示视频帧图像的宽。

（a）池化操作：池化操作可由式（1）表示，池化操作得到特征图F₁，其shape为（N,T,C,1,1），

（1）

（b）3D卷积运算：对特征图F₁进行3D卷积运算，卷积运算可由式（2）表示，卷积运算得到特征图F₂，其shape为（N,T,C,1,1），

(2)

式（2）中，K₁表示一个3D卷积运算，卷积核为（1,1,1），F₂表示。

（c）形状改变：将特征图F₂的shape改变为（N,T,C），得到特征图。

（d）1D卷积运算：对特征图进行1D卷积运算，1D卷积运算可由式（3）表示，卷积运算得到特征图F₃，其shape不发生改变，仍然为（N,T,C），

（3）

式（3）中，K₂表示一个1D卷积运算，。

（e）形状改变：将特征图F₃的shape改变为（N,T,C,1,1）得到。