[发明专利]一种基于多源深度学习的视频事件检测方法

权利要求书

1.一种基于多源深度学习的视频事件检测方法，其特征在于，所述方法包括以下步骤：

对视频的每一帧进行灰度化、以及帧间做差处理获取三维数组，将三维数组输入C3D网络中，预先训练好的模型进行特征提取，使用C3D算法取得图像特征，得到4096维特征向量；

将原有视频第一帧的RGB图像作为输入，在CNN网络结构中提取图片特征，将fc7层的输出作为特征，得到2048维的特征向量；

将特征向量进行拼接，得到6124维的向量，对所有的训练视频做处理并转化为向量之后，进行降维，将6124维的数据转化为256维的数据；

将每个待处理视频映射为一个256维的数据后开始模型训练阶段；利用训练好的模型对未知样本进行测试。

2.根据权利要求1所述的一种基于多源深度学习的视频事件检测方法，其特征在于，所述对视频的每一帧进行灰度化、以及帧间做差处理获取三维数组具体为：

对于给定的一个图像序列x＝{x₁，x₂，…，x_n}，所对应的标签集是y＝{y₁，y₂，…，y_m}，首先将视频的每一帧进行灰度化，然后第二帧与第一帧做差，第三帧与第二帧做差，以此类推，就将原有的视频数据由一个三维数组转化为了另一个三维数组。

3.根据权利要求1所述的一种基于多源深度学习的视频事件检测方法，其特征在于，所述C3D网络具体为：

将视频图像序列x的所有帧分为8帧一组的图片组，每8帧输出一次C3D的fc7层数据作为特征提取结果，得到k个4096维的特征向量，最终将网络结构中的fc7层数据作为特征进行输出，得到一个4096维特征向量。

4.根据权利要求1所述的一种基于多源深度学习的视频事件检测方法，其特征在于，所述CNN网络结构具体为：卷积层、全连接层与池化层相互连接的结构网络。

5.根据权利要求1所述的一种基于多源深度学习的视频事件检测方法，其特征在于，所述开始模型训练阶段具体包括：

将待识别动作的标号、<BOS>标签纳入候选词；

通过最大化类指数函数学习、最大似然函数法预测输出权重；

softmax层的loss在LSTM中进行计算和传播。

6.根据权利要求1所述的一种基于多源深度学习的视频事件检测方法，其特征在于，所述方法还包括：

在解码阶段，通过如下公式来构建一个隐藏状态的概率分布：

其中，p(y_t|h_n+t-1，y_t-1)是基于全部单词softmax函数得出，h_t是第t步的隐藏状态，在第t步的输出不仅取决于隐藏状态，还取决于上一个步骤t-1的输出。

7.根据权利要求1所述的一种基于多源深度学习的视频事件检测方法，其特征在于，所述利用训练好的模型对未知样本进行测试具体为：

以<BOS>标签开始，将得到的视频图像序列x中的所有隐藏状态值h_t输入到第二个LSTM网络系统中，分别计算以下的变量：

f_1t＝σ(W_1xfz_t+W_1zfz_t-1+b_1f)

i_1t＝σ(W_1xih_t+W_1ziz_t-1+b_1i)

g_1t＝tanh(W_1xgh_t+W_1zgz_t-1+b_1g)

c_1t＝f_1t⊙c_1(t-1)+i_1t⊙g_1t

o_1t＝σ(W_1ofh_t+W_1zoz_t-1+b_1o)

z_t＝o_1t⊙tant(c_1t)

其中，σ是元素级别的逻辑sigmoid函数，tanh是双曲正切函数，⊙是元素对应项乘法；W_1xf表示输入与遗忘门输出间的门的权值矩阵，W_1zf表示输出值与遗忘门输出间的门的权值矩阵，W_1xi表示输入门输出与遗忘门输出间的门的权值矩阵，W_1zi表示输出值与输入门输出间的门的权值矩阵，W_1xg表示输入与计算新的c_1t的候选值间的门的权值矩阵，W_1zg表示输出值与计算新的c_1t的候选值间的门的权值矩阵，W_1of表示输出门输出与遗忘门输出间的门的权值矩阵，W_1zo表示输出值与输出门输出间的门的权值矩阵，b_1f表示遗忘门输出的隐藏状态，b_1i来表示输入门输出隐藏状态，b_1g表示计算新的c_1t的候选值的隐藏状态，b_1o表示输出门输出的隐藏状态，f_1t表示遗忘门输出，i_1t表示输入门输出，o_1t表示输出门的输出。c_1t是细胞元状态值，z_t是输出值，g_1t是计算新的c_1t的候选值。